DE102019211053B3

DE102019211053B3 - Registration of image data

Info

Publication number: DE102019211053B3
Application number: DE102019211053.3A
Authority: DE
Inventors: Rainer Raupach; Bernhard Schmidt
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2019-07-25
Filing date: 2019-07-25
Publication date: 2020-10-08
Anticipated expiration: 2039-07-26

Abstract

Die Erfindung betrifft ein Verfahren zum Registrieren von einem zweiten Bild auf ein erstes Bild, mit den folgenden Schritten:- Bereitstellen des ersten Bildes und des zweiten Bildes eines Untersuchungsobjekts, die mit unterschiedlichen Aufnahmemodalitäten aufgenommen wurden,- Angleichen eines Schärfeparameters des ersten und zweiten Bildes aneinander, um Unterschiede des Schärfeparameters zwischen dem ersten und zweiten Bild zu reduzieren, wobei zumindest eine schärfeadaptierte ortsaufgelöste Information des Untersuchungsobjekts aus dem ersten oder zweiten Bild bestimmt wird,- Angleichen der in dem ersten und zweiten Bild dargestellten Intensitätswerte derart, dass gleiche Gewebekomponenten des Untersuchungsobjekts im wesentlichen gleiche Intensitätswerte haben, wobei zumindest eine intensitätsadaptierte ortsaufgelöste Information des Untersuchungsobjekt bestimmt wird,- Bestimmen einer Transformationsinformation unter Verwendung der schärfeadaptierten und intensitätsadaptierten Information für die Registrierung der beiden Bilder,- Registrieren des zweiten Bildes auf das erste Bild unter Verwendung der bestimmten Transformationsinformation.The invention relates to a method for registering a second image on a first image, with the following steps: providing the first image and the second image of an examination subject that were recorded with different recording modalities, aligning a sharpness parameter of the first and second image to one another in order to reduce differences in the sharpness parameter between the first and second image, at least one sharpness-adapted, spatially resolved item of information on the examination subject being determined from the first or second image, - adjusting the intensity values displayed in the first and second image in such a way that the same tissue components of the examination subject are have essentially the same intensity values, with at least one intensity-adapted, spatially resolved item of information of the examination subject being determined, determination of transformation information using the sharpness-adapted and intensity-adapted information ation for the registration of the two images, - Registering the second image on the first image using the determined transformation information.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Registrieren von einem zweiten Bild auf ein erstes Bild sowie die Vorrichtung die ausgebildet ist die Registrierung durchzuführen. Weiterhin ist ein Computerprogrammprodukt und ein elektronisch-lesbarer Datenträger vorgesehen.The present invention relates to a method for registering a second image on a first image and the device which is designed to carry out the registration. A computer program product and an electronically readable data carrier are also provided.

In der medizinischen Bildgebung ist es oft erforderlich, mehrere Bilddatensätze aufeinander zu registrieren. Wenn die Datensätze unterschiedlich sind, aufgrund der Aufnahmemodalität oder aufgrund von unterschiedlichen Aufnahmeparametern wie beispielsweise Röntgenspektren oder aufgrund von unterschiedlichen Aufnahmezeitpunkten, wird die Registrierung erschwert, da selten genau identische Aufnahmebedingungen und eine identische Positionierung des Untersuchungsobjekts erreicht wird.In medical imaging, it is often necessary to register several image data sets on top of one another. If the data sets are different, due to the recording modality or due to different recording parameters such as X-ray spectra or due to different recording times, the registration is made more difficult because exactly identical recording conditions and an identical positioning of the examination subject are rarely achieved.

Für die nicht rigide, elastische Registrierung wird versucht, korrespondierende Kanten als räumliche Bezugspunkte zu verwenden, und die räumlichen Bereiche zwischen den Kanten mit einem geeigneten interpolierten Deformationsfeld zu bewegen.For the non-rigid, elastic registration, an attempt is made to use corresponding edges as spatial reference points and to move the spatial areas between the edges with a suitable interpolated deformation field.

In einem endlich scharfen Bild ist die Position einer Objektkante aber nicht eindeutig definiert. Eine Definition könnte beispielsweise die Position des stärksten Anstiegs, oder die Durchquerung einer Schwelle sein. Wenn die zu registrierenden Bilder allerdings unterschiedliche Kontraste aufweisen aufgrund der unterschiedlichen Aufnahmemodalitäten oder eine unterschiedliche räumliche Auflösung bezüglich der Schärfe haben, so wird nicht notwendigerweise eine korrekte Registrierung erreicht.In a finitely sharp image, however, the position of an object edge is not clearly defined. A definition could be, for example, the position of the steepest ascent or the crossing of a threshold. However, if the images to be registered have different contrasts due to the different recording modalities or a different spatial resolution with regard to sharpness, a correct registration is not necessarily achieved.

Aus Ostergaard Noe, Karsten et al „Acceleration and validation of optical flow based deformable registration for imageguided radiotherapy“ in Acta Oncologica, 2008, 47 Jg., Nr 7, S. 1286-1293 ist es bekannt vor der Bildregistrierung unterschiedliche Bildintensitäten anzupassen.From Ostergaard Noe, Karsten et al "Acceleration and validation of optical flow based deformable registration for imageguided radiotherapy" in Acta Oncologica, 2008, 47 Jg., No. 7, pp. 1286-1293 it is known to adapt different image intensities before image registration.

Es ist eine Aufgabe der Erfindung, die Registrierung von zwei Bildern möglichst genau durchzuführen beziehungsweise zu verbessern, auch wenn Unterschiede zwischen den Bilddatensätzen in Hinblick auf qualitative Eigenschaften vorhanden und nicht unbeträchtlich sind.It is an object of the invention to carry out or improve the registration of two images as precisely as possible, even if differences between the image data sets with regard to qualitative properties exist and are not inconsiderable.

Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. In den abhängigen Ansprüchen sind weitere Ausführungsformen beschrieben.This object is achieved by the features of the independent claims. Further embodiments are described in the dependent claims.

Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zum Registrieren von einem zweiten Bild auf ein erstes Bild bereitgestellt, wobei das erste Bild und das zweite Bild des Untersuchungsobjekts bereitgestellt werden, die mit unterschiedlichen Aufnahmemodalitäten aufgenommen wurden. In einem weiteren Schritt des Verfahrens wird ein Schärfeparameter des ersten und zweiten Bildes aneinander angeglichen, um Unterschiede des Schärfeparameters zwischen dem ersten und zweiten Bild zu reduzieren. Hierbei wird zumindest eine schärfeadaptierte ortsaufgelöste Information des Untersuchungsobjekts bestimmt aus dem ersten und/oder zweiten Bild. Weiterhin werden die in dem ersten und zweiten Bild dargestellten Intensitätswerte angeglichen derart, dass gleiche Gewebekomponenten des Untersuchungsobjekts im Wesentlichen gleiche Intensitätswerten haben. Hierbei wird zumindest eine intensitätsadaptierte ortsaufgelöste Information des Untersuchungsobjekts bestimmt. Anschließend wird eine Transformationsinformation unter Verwendung der schärfeadaptierten und der intensitätsadaptierten Information bestimmt für die Registrierung der beiden Bilder. Die anschließende Registrierung des zweiten Bildes und des ersten Bildes erfolgt dann unter Verwendung der bestimmten Transformationsinformation.According to a first aspect of the invention, a method for registering a second image on a first image is provided, the first image and the second image of the examination subject being provided, which were recorded with different recording modalities. In a further step of the method, a sharpness parameter of the first and second image is adjusted to one another in order to reduce differences in the sharpness parameter between the first and second image. Here, at least one focus-adapted, spatially resolved item of information about the examination subject is determined from the first and / or second image. Furthermore, the intensity values shown in the first and second images are matched in such a way that the same tissue components of the examination subject have essentially the same intensity values. In this case, at least one intensity-adapted, spatially resolved item of information about the examination subject is determined. Transformation information is then determined using the sharpness-adapted and the intensity-adapted information for the registration of the two images. The subsequent registration of the second image and the first image then takes place using the determined transformation information.

Erfindungsgemäß werden die beiden Bilder beziehungsweise Bilddatensätze gezielt aneinander angeglichen. Durch das Angleichen von Schärfeparametern und Intensitätswerten und der Bestimmung der Transformationsinformation unter Berücksichtigung der schärfeadaptierten und intensitätsadaptierten Information kann eine bessere Transformationsinformation bestimmt werden, die anschließend verwendet werden kann bei der Registrierung der beiden Bilder aufeinander. Die Ursachen für die Fehlerquellen, die beispielsweise durch die endliche räumliche Auflösung und die unterschiedliche Darstellung von Kontrasten entstehen, werden gezielt reduziert.According to the invention, the two images or image data sets are specifically aligned with one another. By matching the sharpness parameters and intensity values and determining the transformation information taking into account the sharpness-adapted and intensity-adapted information, better transformation information can be determined, which can then be used when registering the two images with one another. The causes of the sources of error, which arise, for example, from the finite spatial resolution and the different display of contrasts, are specifically reduced.

Vorzugsweise weist der Schärfeparameter eine Kantenbildfunktion senkrecht zu einer Kante auf, wobei eines der beiden Bilder eine schärfere Kantenbildfunktion als das andere Bild aufweist. Hierbei kann ein Glättungsfilter auf das Bild mit der schärferen Kantenbildfunktion angewendet werden zur Erzeugung eines schärfereduzierten Bildes als schärfeadaptierte ortsaufgelöst Information. Durch die Erzeugung des schärfereduzierten Bildes aus dem schärferen Bild erfolgt eine Angleichung der Kantenschärfe, so dass bei der Registrierung Kanten mit ähnlicher Schärfe aufeinander registriert werden können, was zu einer besseren Registrierung führt.The sharpness parameter preferably has an edge image function perpendicular to an edge, one of the two images having a sharper edge image function than the other image. In this case, a smoothing filter can be applied to the image with the sharper edge image function in order to generate a sharpness-reduced image as sharpness-adapted, spatially resolved information. By generating the sharpness-reduced image from the sharper image, the edge sharpness is matched, so that during registration, edges with similar sharpness can be registered on one another, which leads to better registration.

Bei der Anpassung der Intensitätswerte können die Intensitätswerte voxelweise angepasst werden, wobei hierbei der Schärfeparameter bei der Anpassung der Intensitätswert unverändert bleibt. Durch die Anpassung der Intensitätswerte wird die Sprunghöhe in der Intensität in den beiden Bildern angepasst. Dadurch wird sichergestellt, dass die Bilder, die zur Bestimmung der Transformationsinformation verwendet werden auch in diesem Aspekt gleiche Eigenschaften haben. Insgesamt können somit mit Verwendung der schärfeadaptierten und intensitätsadaptierten Information die entstehenden Bilder besser aufeinander registriert werden, was die bestimmte Transformationsinformation verbessert. Diese kann dann beim Registrieren der ursprünglichen Bilder, des ersten und zweiten Bildes verwendet werden.When adapting the intensity values, the intensity values can be adapted voxel-by-voxel, the sharpness parameter remaining unchanged during the adaptation of the intensity value. By adapting the intensity values, the jump height in the intensity is adapted in the two images. This will ensure that the images used to determine the Transformation information used will also have the same properties in this aspect. Overall, with the use of the sharpness-adapted and intensity-adapted information, the resulting images can be better registered with one another, which improves the specific transformation information. This can then be used when registering the original images, the first and second images.

Die Transformationsinformation kann ein Deformationsfeld aufweisen, welches angibt, wie ein Voxel in einem der beiden Bilder auf ein Voxel im anderen der beiden Bilder transformiert wird. Dieses Deformationsfeld wird nun nicht anhand der ursprünglichen Bilder, des ersten und zweiten Bildes bestimmt, sondern unter Verwendung von Bildern, bei dem eine Schärfeadaptation und eine Intensitätsadaptation durchgeführt wurden.The transformation information can have a deformation field which indicates how a voxel in one of the two images is transformed to a voxel in the other of the two images. This deformation field is now not determined on the basis of the original images, the first and second images, but rather using images in which a sharpness adaptation and an intensity adaptation have been carried out.

Hierbei ist es möglich, dass das Angleichen der Intensitäten auf dem schärfereduzierten Bild erfolgt, wobei die Intensitäten des schärfereduzierten Bildes an die Intensitäten des Bildes mit der schärferen Kantenbildfunktion angeglichen werden zur Erzeugung eines schärfe- und intensitätsadaptierten Bildes.It is possible here for the intensities to be adjusted on the reduced-sharpness image, the intensities of the reduced-sharpness image being adjusted to the intensities of the image with the sharper edge image function in order to generate a sharpness and intensity-adapted image.

Die Transformationsinformation kann dann bestimmt werden durch Registrieren des schärfe- und intensitätsadaptierten Bildes mit dem anderen der beiden ursprünglichen Bilder, bei dem die Schärfeadaptation und die Intensitätsadaptation nicht durchgeführt wurden.The transformation information can then be determined by registering the sharpness and intensity adapted image with the other of the two original images in which the sharpness adaptation and the intensity adaptation were not carried out.

Ebenso ist es möglich, die Schärfeadaptation bzw. das Angleichen des Schärfeparameters auf einem der ursprünglichen Bilder durchzuführen, das heißt entweder auf dem ersten oder zweiten Bild, und die Intensitätsanpassung auf dem anderen der beiden Bilder durchzuführen. In diesem Fall wurde dann das schärfeadaptierte Bild auf das intensitätsadaptierte Bild registriert werden zur Bestimmung der Transformationsinformation bzw. des Deformationsfeldes.It is also possible to carry out the sharpness adaptation or the adjustment of the sharpness parameter on one of the original images, that is to say either on the first or second image, and to carry out the intensity adjustment on the other of the two images. In this case, the sharpness-adapted image was then registered on the intensity-adapted image in order to determine the transformation information or the deformation field.

Vorzugsweise sind die beiden Bilder CT-Bilder, die mit einer Computertomografieanlage erzeugt wurden. Hierbei kann das erste Bild einer niedrigeren Emitterspannung aufgenommen werden als das zweite Bild.The two images are preferably CT images that were generated with a computer tomography system. The first image can be recorded with a lower emitter voltage than the second image.

Wenn die beiden Bilder CT-Bilder sind, können bei dem Angleichen der Intensitätswerte nur die Intensitätswerte mit CT-Werten größer als Wasser angepasst werden, während eine Anpassung der Intensitätswert mit CT-Werten kleiner als Wasser nicht erfolgt. Bei CT-Bildern mit unterschiedlicher Spannung liegen die Intensitätsunterschiede insbesondere bei Geweben, die CT-Werte größer als Wasser haben, da aufgrund des fotoelektrischen Effekts diese Werte üblicherweise höher sind bei niedrigerer Energie.If the two images are CT images, when adjusting the intensity values, only the intensity values with CT values greater than water can be adjusted, while the intensity values with CT values smaller than water are not adjusted. In the case of CT images with different voltages, the differences in intensity are particularly in tissues that have CT values greater than water, since these values are usually higher with lower energy due to the photoelectric effect.

Beim Anpassen der Intensitätswert können spektral abhängige Kontraste angepasst werden.When adjusting the intensity value, spectrally dependent contrasts can be adjusted.

Weiterhin ist es möglich beim Bestimmen der Transformationsinformation anatomische Kenntnisse der in dem ersten und zweiten Bild dargestellten Anatomie zu berücksichtigen und zu verwenden, um die Registrierung zu verbessern.Furthermore, when determining the transformation information, it is possible to take into account and use anatomical knowledge of the anatomy represented in the first and second images in order to improve the registration.

Weiterhin ist eine Vorrichtung vorgesehen, die ausgebildet ist zur Registrierung von dem ersten und zweiten Bild, wobei die Vorrichtung eine Speichereinheiten und zumindest eine Prozessoreinheit aufweist. Die Speichereinheiten weist von der zumindest einen Prozessoreinheit ausführbare Steuerbefehle auf, wobei bei Ausführung der Steuerbefehle in der zumindest einen Prozessoreinheit die Vorrichtung ein Verfahren ausführen kann wie oben erläutert oder wie folgend noch im Detail erläutert wird.Furthermore, a device is provided which is designed to register the first and second image, the device having a memory unit and at least one processor unit. The memory units have control commands that can be executed by the at least one processor unit, wherein when the control commands are executed in the at least one processor unit, the device can execute a method as explained above or as explained in detail below.

Weiterhin wird ein Computerprogrammprodukt vorgesehen, welches Steuerbefehle umfasst und direkt in eine Speichereinheiten der Vorrichtung ladbar ist, um die Schritte des Verfahrens auszuführen, die oben erläutert wurden oder nachfolgend im Detail erläutert werden.Furthermore, a computer program product is provided which comprises control commands and can be loaded directly into a memory unit of the device in order to carry out the steps of the method that have been explained above or are explained in detail below.

Die oben erläuterten Merkmale sowie die nachfolgend beschriebenen Merkmale können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in anderen Kombinationen, sofern es nicht explizit anders erwähnt ist.The features explained above and the features described below can not only be used in the corresponding explicitly stated combinations, but also in other combinations, unless explicitly stated otherwise.

Die Erfindung wird nachfolgend unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert.

1 zeigt schematisch ein Ablaufdiagramm für die Registrierung von zwei Bildern mit unterschiedlichen Aufnahmemodalitäten.
2 zeigt schematisch eine Intensitätsanpassung, die bei der Registrierung als Zwischenschritt durchgeführt werden kann am Beispiel eines CT-Bildes.
3 zeigt schematisch, wie die beiden Bilder verarbeitet werden zur Bestimmung einer Deformationsinformation, die bei der anschließenden Registrierung verwendet werden kann.
4 zeigt schematisch ein Flussdiagram mit den Schritten die bei der Registrierung der beiden Bilder aufeinander durchgeführt werden.
5 zeigt schematisch eine Vorrichtung die ausgebildet ist die Registrierung durchzuführen.

The invention is explained in more detail below with reference to the accompanying drawings.

1 shows schematically a flow chart for the registration of two images with different recording modalities.
2 shows schematically an intensity adjustment that can be carried out as an intermediate step in the registration using the example of a CT image.
3 shows schematically how the two images are processed to determine deformation information that can be used in the subsequent registration.
4th shows a schematic flow diagram with the steps that are carried out when registering the two images on top of one another.
5 shows schematically a device which is designed to carry out the registration.

Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche o. ä. Elemente. Weiterhin sind die Figuren schematische Darstellungen verschiedener Ausführungsform der Erfindung. Die in den Figuren dargestellten Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Die in den Figuren dargestellten Elemente sind vielmehr derart widergegeben, dass ihre Funktion und ihr Zweck für den Fachmann verständlich werden. Die in den Figuren dargestellten Verbindungen zwischen funktionellen Einheiten oder sonstigen Elementen können auch als indirekte Verbindung implementiert werden, wobei eine Verbindung drahtlos oder drahtgebunden sein kann. Funkschnellen Einheiten können als Hardware, Software, Firmware oder eine Kombination davon implementiert sein.The present invention is explained in more detail below on the basis of preferred embodiments with reference to the accompanying drawings. In the figures, the same reference symbols denote the same or similar elements. Furthermore, the figures are schematic representations of various embodiments of the invention. The elements shown in the figures are not necessarily shown to scale. Rather, the elements shown in the figures are reproduced in such a way that their function and purpose can be understood by a person skilled in the art. The connections shown in the figures between functional units or other elements can also be implemented as an indirect connection, wherein a connection can be wireless or wired. High-speed radio units can be implemented as hardware, software, firmware, or a combination thereof.

Die Erfindung wird nachfolgend unter Bezugnahme von CT-Bildern erläutert, die von einer Untersuchungsperson (nicht gezeigt) akquiriert werden. Bei CT-Systemen läuft wie gewöhnlich eine an einer Gantry angeordnete Kombination aus Röntgenquelle und gegenüberliegend angeordneten Röntgendetektor um einen Messraum herum, in dem sich das Untersuchungsobjekt befindet. Bei einem oder mehreren Umläufen wird die Untersuchungsperson mit Röntgenstrahlen der Röntgenquelle durchstrahlt, wobei mithilfe des gegenüberliegenden Röntgendetektors Projektionsmessdaten bzw. Röntgenprojektionen erfasst werden. Wie daraus CT-Daten bzw. CT-Bilder erstellt werden ist dem Fachmann bekannt und wird hier nicht näher erläutert.The invention is explained below with reference to CT images that are acquired from an examination person (not shown). In CT systems, a combination of X-ray source and X-ray detector arranged opposite, arranged on a gantry, runs around a measuring room in which the object to be examined is located. During one or more revolutions, the person being examined is irradiated with X-rays from the X-ray source, with the aid of the X-ray detector located opposite, projection measurement data or X-ray projections being recorded. How CT data or CT images are created therefrom is known to the person skilled in the art and is not explained in more detail here.

Üblicherweise weisen CT-Bilder Bildpunkte mit Grauwerten auf, die jeweils dem gemessenen Schwächungswert entsprechen. Wenn im Folgenden von Bildpunkten gesprochen wird handelt es sich um zweidimensionale Pixel oder dreidimensionale Voxel. Bei den Intensitätswerten wird ein gemessener Schwächungswert in Hounsfield-Einheiten, oder CT-Werten angegeben. Dabei entspricht ein Wert von -1000_HO einer Schwächung welche durch Luft erzeugt wird und 0_HO einer Schwächung, welche der Schwächung von Wasser entspricht.Usually, CT images have pixels with gray values which each correspond to the measured attenuation value. If image points are spoken of in the following, these are two-dimensional pixels or three-dimensional voxels. For the intensity values, a measured attenuation value is given in Hounsfield units or CT values. A value of -1000 _HO corresponds to a weakening that is produced by air and 0 _{HO to} a weakening that corresponds to the weakening of water.

Die Erfindung ist jedoch nicht beschränkt auf CT-Bilder, es können auch MR-Bilder aufeinander registriert werden, oder MR-Bilder auf CT-Bilder bzw. PET-Bilder auf CT-Bilder etc.However, the invention is not limited to CT images; MR images can also be registered on top of one another, or MR images on CT images or PET images on CT images, etc.

Nachfolgend wird die Erfindung unter Bezugnahme auf zwei CT-Bilder erläutert. Diese zwei Bilder, ein Bilddatensatz beziehungsweise ein erstes Bild A und ein zweiter Bilddatensatz bzw. ein zweites Bild B sollen aufeinander registriert werden. Das erste Bild A wurde mit einer Modalität M_A aufgenommen, und das zweite Bild wurde mit einer Modalität M_B aufgenommen. Das erste Bild hat einen Gewebekontrast, d. h. Pixelwerte die ein bestimmtes Gewebe im Bild hat K_A und das zweite Bild hat den Gewebekontrast K_B, wobei weiterhin die Bildschärfe S_A bzw. S_B bei den beiden Bildern angenommen wird. The invention is explained below with reference to two CT images. These two images, an image data set or a first image A and a second image data set or a second image B, are to be registered with one another. The first image A was taken with a modality M _A and the second image was taken with a modality M _B. The first image has a tissue contrast, ie pixel values that a certain tissue in the image has K _A and the second image has the tissue contrast K _B , the image sharpness S _A or S _{B being} assumed for the two images.

Die Bildschärfe kann beispielsweise über eine Kantenbildfunktion bzw. Modulationstransferfunktion beschrieben werden. Im Falle der MTF kann die Schärfe z.B. über (ρ₅₀ + ρ₁₀)/2 charakterisiert werden, wenn ρ_x die Orts-Frequenz ist, bei der die MTF auf x Prozent abgefallen ist. Die Linienbildfunktion ist die Fourier-Transformierte der MTF, die Kantenbildfunktion wiederum das Integral über die Linienbildfunktion. Über diese Zusammenhänge lässt sich die Charakterisierung ebenso auf die Kanten- bzw. Linienbildfunktion anwenden.The image sharpness can be described, for example, via an edge image function or modulation transfer function. In the case of the MTF, the sharpness can be characterized, for example, via (ρ ₅₀ + ρ ₁₀ ) / 2 if ρ _{x is} the spatial frequency at which the MTF has dropped to x percent. The line image function is the Fourier transform of the MTF, the edge image function in turn the integral over the line image function. Using these relationships, the characterization can also be applied to the edge or line image function.

Ohne Beschränkung der Allgemeinheit wird nun davon ausgegangen, dass A der Masterdatensatz bzw. das Masterbild ist, auf den B registriert werden soll.Without loss of generality, it is now assumed that A is the master data set or the master image on which B is to be registered.

Bezugnehmend auf 1 bedeutet dies, dass das erst Bild 10 des Untersuchungsobjektes vorliegt und das zweite Bild 20, das mit einer unterschiedlichen Untersuchungsmodalität aufgenommen wurde. Direkte Registrierung des Bildes 20 auf das Bild 10 führt zu keinem optimalen Ergebnis, da die Bilder mit unterschiedlichen Modalitäten aufgenommen wurden, und unter anderem verschiedene Kontraste und unterschiedliche Schärfeparameter aufweisen. Bei dem in 1 dargestellten Beispiel wird nun davon ausgegangen, dass das Bild B das Bild mit der größeren Kantenschärfe ist, während Bild A das Bild mit der geringeren Kantenschärfe ist.Referring to 1 this means that the first picture 10 of the examination subject is present and the second image 20th , which was recorded with a different examination modality. Direct registration of the image 20th on the picture 10 does not lead to an optimal result because the images were recorded with different modalities and, among other things, have different contrasts and different sharpness parameters. The in 1 In the example shown, it is now assumed that image B is the image with the greater edge sharpness, while image A is the image with the lower edge sharpness.

Die Schärfeadaptation wird auch im Zusammenhang mit 3 näher erläutert. Dort sind die Bilder 10 und 20 schematisch dargestellt, wobei angedeutet ist, dass die Kantenschärfe beim Bild 20 höher ist als beim Bild 10 wie es durch den Intensitätssprung I₂-I₁ in Bild A und I₄-I₃ in Bild B schematisch dargestellt ist. Der Unterschied in der Schärfe, im Beispiel aufgrund des Fokus, lässt sich über das Messen oder Berechnen der Modulationstransferfunktionen beschreiben. Durch Anwenden eines Glättungsfilters kann nun aus dem zweiten Bild B ein schärfereduziertes Bild B' erzeugt werden, bei dem die Schärfe an der Kante an die Schärfe von Bild A angepasst wird. Wie aus der Modulationstransferfunktion ein Glättungsfilter berechnet werden kann, der die Übertragungsfunktion des schärferen Bilddatensatzes an die des anderen anpasst ist dem Fachmann bekannt. In der Regel wird dies ein 3-D Filter sein, entweder als Faltung im Ortsraum oder über eine Fourier Transformation im Frequenzraum.The sharpness adaptation is also related to 3 explained in more detail. There are the pictures 10 and 20th shown schematically, indicating that the sharpness of the edges in the picture 20th higher than the picture 10 as shown schematically by the intensity jump I ₂ -I ₁ in image A and I ₄ -I ₃ in image B. The difference in sharpness, in the example due to the focus, can be described by measuring or calculating the modulation transfer functions. By using a smoothing filter, a sharpened image B ′ can now be generated from the second image B, in which the sharpness at the edge is adapted to the sharpness of image A. How a smoothing filter can be calculated from the modulation transfer function, which adapts the transfer function of the sharper image data set to that of the other, is known to the person skilled in the art. Usually this will be a 3-D filter, either as a convolution in the spatial space or via a Fourier transformation in the frequency space.

Bezugnehmend wiederum auf 1 erfolgt die Schärfemodulation in einem Modul bzw. Schritt 30. Die Ausgabe ist dann das schärfereduzierte Bild 21 das als B' bezeichnet wird in 1 und 3. Die Kantenschärfe von den schärfereduzierten Bild 21 soll hier mit dann im Wesentlichen der Kantenschärfe des ersten Bildes 10 entsprechen.Referring again to 1 the focus modulation takes place in one module or step 30th . The output is then the reduced-sharpness image 21st which is denoted as B 'in 1 and 3 . The edge sharpness of the reduced sharpness image 21st should then essentially be the edge definition of the first image 10 correspond.

Im dargestellten Beispiel wurde die Kante vom schärferen Bild entschärft. Theoretisch ist es auch möglich, die Schärfeadaption von dem schärferen Bild ausgehen zu lassen und die Kantenschärfe zu erhöhen.In the example shown, the edge has been defused from the sharper image. Theoretically, it is also possible to have the sharpness adaptation start from the sharper image and to increase the edge sharpness.

In einem nächsten Schritt kann dann ein voxelweises Anpassen der Bildpunktwerte des Datensatzes B' auf die Eigenschaften des Datensatzes A durchgeführt werden zur Adaption der Intensitäten in den beiden Bildern. Bezugnehmend auf 3 sind schematisch die Intensitätssprünge an der Kante dargestellt, wobei der Intensitätssprung im unschärferen Bild mit
ΔI_A = I₂ - I₁ ist, während er in Bild 20 ΔI_B = I₄ - I₃ ist. Wie in 3 zu erkennen ist wurde bei der Schärfeadaption die Intensität nicht geändert im schärfereduzierten Bild 21. In dem nächsten Schritt erfolgt nun eine Angleichung der Intensitäten derart, dass die Kontrastunterschiede ausgeglichen werden. Insgesamt soll die Sprunghöhe ΔI an der Kannte angeglichen werden, vorzugsweise auch die Start- und Endwerte. Dies kann beispielsweise mit einer Lookup-Tabelle erfolgen, da beispielweise bekannt ist, bei welchen Aufnahmeparametern welche CT-Werte unterschiedliche Gewebeparameter haben. Bei der Angleichung der Intensitätswerte werden nun in dem schärfereduzierten Bild 21 die Intensitätswerte in diesem Bild derart angepasst, dass sie von der Sprunghöhe und vom Start- und Endpunkt den Intensitätswerten vom ersten Bild 10 entsprechen. Damit sollen die Intensitätswerte I₃' und I₄' an die Intensitätswert I₁ und I₂ angeglichen werden. Bei dieser Intensitätsänderung soll jedoch die Schärfe vorzugsweise unverändert bleiben. Dies führt zu einem intensitäts- und schärfeadaptierten Bild 23, das nun im Wesentlichen die gleiche Schärfeinformation aufweist wie das erste Bild 10 und im Wesentlichen gleiche Intensitäten. Anschließend ist es möglich, das Bild 23 auf das erste Bild 10 zu registrieren, wie es durch Registrierungsverfahren nach dem Stand der Technik bekannt ist. Diese Registrierung führt nun zu einem Deformationsfeld D, die eine dreidimensionale Information sein kann und als Deformationsfeld 25 in 3 symbolisch dargestellt ist.In a next step, a voxel-by-voxel adaptation of the pixel values of the data record B 'to the properties of the data record A can be carried out in order to adapt the intensities in the two images. Referring to 3 the intensity jumps at the edge are shown schematically, with the intensity jump in the blurred image
ΔI _A = I ₂ - I ₁ while he is in Fig 20th ΔI _B = I ₄ - I ₃ . As in 3 It can be seen that the intensity was not changed in the sharpness-reduced image during the sharpness adaptation 21st . In the next step, the intensities are adjusted in such a way that the contrast differences are evened out. Overall, the jump height ΔI should be adjusted to the edge, preferably also the start and end values. This can be done with a lookup table, for example, since it is known, for example, which CT values have different tissue parameters for which recording parameters. When aligning the intensity values are now in the reduced-sharpness image 21st the intensity values in this image are adapted in such a way that the jump height and the start and end points match the intensity values from the first image 10 correspond. The aim is to adjust the intensity values I ₃ 'and I ₄ ' to the intensity values I ₁ and I ₂ . With this change in intensity, however, the sharpness should preferably remain unchanged. This leads to an image that is adapted to the intensity and focus 23 , which now has essentially the same sharpness information as the first image 10 and substantially equal intensities. It is then possible to use the picture 23 on the first picture 10 as known by prior art registration procedures. This registration now leads to a deformation field D, which can be three-dimensional information and as a deformation field 25th in 3 is represented symbolically.

Bezugnehmend auf 1 bedeutet dies, dass im Modul 32 bzw. Schritt 32 die Intensitätsanpassung erfolgt zur Bestimmung des Bildes B'. Die Registrierung erfolgt dann im Modul 33 bzw. Schritt 33, wo das Deformationsfeld ermittelt wird. Dieses Deformationsfeld kann anschließend verwendet werden, um das ursprüngliche Bild 20 auf das Bild 10 zu registrieren. Die gewonnene Deformationsinformation ist verbessert durch die Zwischenschritte wie oben erläutert. Dies führt zu einem registrierten Bild B_R 24. Bezugnehmend auf 1 erfolgt die Registrierung in Modul 34 bzw. Schritt 34.Referring to 1 this means that in the module 32 or step 32 the intensity adjustment takes place to determine the image B '. Registration then takes place in the module 33 or step 33 where the deformation field is determined. This deformation field can then be used to create the original image 20th on the picture 10 to register. The deformation information obtained is improved by the intermediate steps as explained above. This results in a registered image B _R 24. Referring to FIG 1 registration takes place in module 34 or step 34 .

Bei dem in 1 und 3 dargestellten Beispiel erfolgte die Schärfeanpassung und Intensitätsanpassung jeweils auf Grundlage eines der beiden Bilder, nämlich dem Bild mit der größeren Schärfe. Selbstverständlich ist es auch möglich, beispielsweise die Schärfeanpassung bei einem der beiden Bilder durchzuführen, beispielsweise wie dargestellt mit der Bestimmung des schärfeadaptierten Bildes 21. Die Intensitätsanpassung kann jedoch auch auf dem anderen der beiden Bilder, hier dem ersten Bild durchgeführt werden, so dass dann ein intensitätsadaptiertes Bild von A erzeugt werden würde, nämlich A'. Dieses Intensitätsadaptierte Bild A' würde dann auf das schärfeadaptierte Bild B' registriert werden oder umgekehrt zur Erzeugung des Deformationsfeldes 25. Das Deformationsfeld kann die Transformation der Voxel von B'' auf A enthalten. Im dargestellten Fall wird damit bei Registrierung von Bild 20 auf Bild 10 ein Deformationsfeld erzeugt, das die Transformation beinhaltet. In gleicher Weise ist es möglich -D auf A anzuwenden, das erste Bild 10, wobei die Anwendung von -D auf A ebenfalls einen registrierten Zustand ergibt, wobei B dann der Master für die finale Position im Raum ist. Ebenso kann man beispielsweise die halbe Deformation auf B und die halbe Deformation A anwenden wird, einmal D/2 auf B und -D/2 auf A. Dann ist der Endzustand auch registriert, wobei beide Positionen keinem der Ausgangsdatensätze sondern gemittelten Position entsprechen. Weiterhin ist es theoretisch möglich die Registrierung auch ganz allgemein mit X + D anzuwenden auf B und X anzuwenden auf A wobei X ein beliebiges zusätzliches Deformationsfeld ist das nicht von den Daten abhängen kann. Dadurch ist immer eine Registrierung sichergestellt aber die Endposition wird dann maßgeblich durch X bestimmt.The in 1 and 3 In the example shown, the sharpness adjustment and intensity adjustment were carried out on the basis of one of the two images, namely the image with the greater sharpness. Of course, it is also possible, for example, to carry out the sharpness adjustment in one of the two images, for example with the determination of the sharpness-adapted image, as shown 21st . The intensity adjustment can, however, also be carried out on the other of the two images, here the first image, so that an intensity-adapted image of A would then be generated, namely A '. This intensity-adapted image A 'would then be registered on the sharpness-adapted image B' or vice versa in order to generate the deformation field 25th . The deformation field can contain the transformation of the voxels from B ″ to A. In the case shown, this is used when registering image 20th on picture 10 creates a deformation field that contains the transformation. In the same way, it is possible to apply -D to A, the first image 10 , whereby the application of -D to A also results in a registered state, where B is then the master for the final position in space. You can also apply half the deformation to B and half the deformation to A, once D / 2 to B and -D / 2 to A. Then the final state is also registered, whereby both positions do not correspond to any of the output data sets but to the mean position. Furthermore, it is theoretically possible to apply the registration in general with X + D to B and to apply X to A, where X is any additional deformation field that cannot depend on the data. This always ensures registration, but the end position is then largely determined by X.

In Zusammenhang mit 2 wird nun näher eine Intensitätsanpassung bei CT-Bildern erläutert. Eine sinnvolle Intensitätsanpassung hat beispielsweise die Aufgabe, die spektral abhängigen Kontraste auszugleichen. Die Unterschiede in den Intensitäten sind vor allem für Materialien relevant, die CT-Werte größer als Wasser haben. Aufgrund des fotoelektrischen Effekts weisen diese üblicherweise höhere CT-Werte bei niedrigerer Energie auf, im dargestellten Fall der Datensatz A. 2 zeigt nun eine typische Intensitätsanpassung, wobei die Intensitätswerte im Bild B' als Eingang für Werte größer Wasser erhöht werden. Wie in 2 zuerkennen ist erfolgt keine Intensitätsanpassung bei Werten zwischen Luft und Wasser wie durch die Gerade 41 dargestellt ist. Bei Werten größer als Wasser werden die Intensitätswerte erhöht, wie am Beispiel des Intensitätswertes I₃ dargestellt ist, welcher auf den erhöhten Wert I₃' abgebildet wird. Das heißt für Intensitätswerte größer als Wasser erfolgt ein Mapping an der Gerade mit einer Steigung größer 1, hier der Gerade 42. Die Steigung dieser Gerade 42 berücksichtigt die spektrale Kontraständerung des relevanten Materials, das für höhere CT-Werte als Wasser relevant ist. Bei nativen Versuchen ist dies beispielsweise Kalzium, bei Untersuchungen mit Kontrastmitteln das Kontrastmittel selbst.Relating to 2 an intensity adjustment in CT images will now be explained in more detail. A sensible intensity adjustment has the task, for example, of compensating for the spectrally dependent contrasts. The differences in the intensities are particularly relevant for materials that have CT values greater than water. Due to the photoelectric effect, these usually have higher CT values with lower energy, in the case shown, data set A. 2 now shows a typical intensity adjustment, the intensity values in image B 'being increased as input for values greater than water. As in 2 There is no intensity adjustment for values between air and water as shown by the straight line 41 is shown. At values greater than water, the intensity values are increased, as shown by the example of the intensity value I ₃ which is mapped to the increased value I ₃ '. This means that for intensity values greater than water, mapping is carried out on the straight line with a gradient greater than 1, here the straight line 42 . The slope of this straight line 42 takes into account the change in spectral contrast of the relevant material, which is relevant for higher CT values than water. In native experiments this is calcium, for example, in examinations with contrast agents the contrast agent itself.

Diese Abbildung der Intensitäten kann beispielsweise datenpunkt- oder voxelweise erfolgen. Ebenso ist es möglich globale Informationen zu verwenden wie beispielsweise anatomisches Wissen. Dies ist dann hilfreich, wenn keine eindeutige Abbildungsfunktion wie die Funktion von 2 existiert, um den einen auf den anderen Datensatz im Hinblick auf die Bildpunktwerte bzw. Intensitätswerte anzugleichen. Die Situation ist insbesondere für den Fall relevant, dass die beiden Datensätze von unterschiedlichen Modalitäten stammen. Die Intensitätsanpassung kann auch durch lernbasierte Verfahren unterstützt werden beispielsweise mithilfe eines neuronalen Netzes. Die Abbildung von Intensitätswerten der ersten auf eine zweite Modalität ist eventuell nur durch Hinzunahme von zusätzlichem Wissen wie beispielsweise der Morphologie möglich. Die Abbildung ist damit keine rein voxelweise Funktion, sondern ein komplexe Verknüpfung von Intensitätswerten einer Vielzahl von Voxeln. Dieser Zusammenhang kann durch ein neuronales Netz gelernt werden, indem zum Training eine Vielzahl von Datensätzen der ersten Modalität als Eingangsdaten und die korrespondierenden Datensätze der zweiten Modalität als Zieldaten verwendet werden, wobei das Trainingsziel ist, dass die Ausgangsdaten des Netzes die Zieldaten möglichst gut nachbilden.This mapping of the intensities can be done for example by data point or by voxel. It is also possible to use global information such as anatomical knowledge. This is helpful when there is no clear mapping function such as the function of 2 exists in order to match one data set to the other with regard to the pixel values or intensity values. The situation is particularly relevant in the event that the two data sets come from different modalities. The intensity adjustment can also be supported by learning-based methods, for example with the help of a neural network. The mapping of intensity values of the first to a second modality is possibly only possible by adding additional knowledge such as the morphology. The mapping is therefore not a purely voxel-wise function, but a complex combination of intensity values of a large number of voxels. This relationship can be learned through a neural network by using a large number of data sets of the first modality as input data and the corresponding data sets of the second modality as target data for training, the training goal being that the output data of the network reproduce the target data as well as possible.

4 fasst einige der Schritte des beschriebenen Verfahrens zusammen. In Schritt 50 wird das erste Bild 10 und das zweite Bild 20 bereitgestellt, die aufeinander registriert werden sollen. In einem Schritt 51 erfolgt das Angleichen eines Schärfeparameters der beiden Bilder, wobei ein schärfeadaptiertes Bild erzeugt wird. Im dargestellten Fall war dies ein schärfereduziertes Bild, da der Schärfeparameter im schärferen Bild reduziert wurde. Grundsätzlich ist aber auch eine Anpassung des unschärferen Bildes mit Erhöhung des Schärfeparameters denkbar. Im Schritt 52 erfolgt dann das Angleichen der in den beiden Bildern dargestellten Intensitätswert mit dem Ziel, dass gleiche Gewebekomponenten im Wesentlichen gleiche Intensitätswerte aufweisen. Wie in Zusammenhang mit 3 erläutert wurde bedeutet dies, dass somit die Höhe der Stufe zwischen den Intensitäten angepasst wird, und vorzugsweise auch die Start- und Endwerte. Damit ist es möglich im Schritt 53 eine verbesserte Transformationsinformation, das Deformationsfeld, zu bestimmen. Dieses kann dann verwendet werden, um die beiden ursprünglichen Bilder aufeinander zu registrieren in Schritt 54. 4th summarizes some of the steps in the procedure described. In step 50 becomes the first picture 10 and the second picture 20th provided that are to be registered on each other. In one step 51 the adjustment of a sharpness parameter of the two images takes place, with a sharpness-adapted image being generated. In the case shown, this was an image with reduced sharpness, since the sharpness parameter was reduced in the sharper image. In principle, however, an adaptation of the less sharp image by increasing the sharpness parameter is also conceivable. In step 52 Then the adjustment of the intensity values shown in the two images takes place with the aim that the same tissue components have essentially the same intensity values. As in connection with 3 This means that the level of the step between the intensities is thus adapted, and preferably also the start and end values. So it is possible in step 53 to determine an improved transformation information, the deformation field. This can then be used to register the two original images on top of each other in step 54 .

5 zeigt schematisch eine Vorrichtung mit der das oben beschriebene Verfahren durchgeführt werden kann. Die Vorrichtung 100 weist eine Eingabe-/Ausgabeeinheit 110 auf, die ausgebildet ist Bilddaten oder sonstige Steuerbefehle an andere Einheiten zu schicken oder von anderen Einheiten zu bekommen. Eine Prozessoreinheit 120 mit mindestens einem Prozessor ist vorgesehen, die für den Betrieb der Vorrichtung 100 zuständig ist. Die Prozessoreinheit 120 kann ein oder mehrere Prozessoren aufweisen und kann Steuerbefehle ausführen, die in einer Sprecheinheit 130 gespeichert sind, wobei die Speichereinheiten ein ROM-Speicher, ein RAM-Speicher eine Festplatte o. ä. sein kann. Die Sprecheinheit 130 kann weiterhin geeignete Steuerbefehle aufweisen, die von der Prozesseinheit 120 ausgeführt werden um das oben beschriebene Verfahren auszuführen. 5 shows schematically a device with which the method described above can be carried out. The device 100 has an input / output unit 110 which is designed to send image data or other control commands to other units or to receive them from other units. A processor unit 120 with at least one processor is provided which is responsible for operating the device 100 responsible is. The processor unit 120 can have one or more processors and can execute control commands that are stored in a speech unit 130, wherein the storage units can be a ROM memory, a RAM memory, a hard disk or the like. The speaking unit 130 can furthermore have suitable control commands which are executed by the process unit 120 in order to carry out the method described above.

Zusammenfassend werden erfindungsgemäß im Gegensatz zu den Registrierungsverfahren nach dem Stand der Technik die Datensätze gezielt aneinander angeglichen. Damit werden die Ursachen für Fehlerquellen, die durch Eigenschaften realer Daten entstehen, reduziert.In summary, according to the invention, in contrast to the registration methods according to the prior art, the data sets are specifically aligned with one another. This reduces the causes of error sources that arise from the properties of real data.

Weiterhin hat dieses Verfahren den Vorteil, dass es mit Verfahren nach dem Stand der Technik verknüpft werden kann.This method also has the advantage that it can be linked to methods according to the prior art.

Claims

A method of registering a second image to a first image, comprising the following steps: - Providing the first image and the second image of an examination subject, which were recorded with different recording modalities, - Matching a sharpness parameter of the first and second image to one another in order to reduce differences in the sharpness parameter between the first and second image, wherein at least one sharpness-adapted, spatially resolved item of information about the examination object is determined from the first or second image, - Adjustment of the intensity values shown in the first and second image in such a way that the same tissue components of the examination subject have essentially the same intensity values, with at least one intensity-adapted, spatially resolved item of information of the examination subject being determined, - Determination of transformation information using the sharpness-adapted and intensity-adapted information for the registration of the two images, - Registering the second image on the first image using the determined transformation information.

Procedure according to Claim 1 , characterized in that the sharpness parameter has an edge image function perpendicular to an edge, with one of the two images having a sharper edge image function than the other image, a smoothing filter being applied to the image with the sharper edge image function to generate a sharpness-reduced image as sharpness-adapted spatially resolved information .

Procedure according to Claim 1 or 2 , characterized in that when adapting the intensity values, the intensity values are adapted voxel-wise, the sharpness parameter remaining unchanged when the intensity values are adapted.

Method according to one of the preceding claims, characterized in that the transformation information has a deformation field which indicates how a voxel in one of the two images is transformed to a voxel in the other of the two images.

Method according to one of the Claims 2 to 4th , characterized in that the intensities are adjusted on the reduced-sharpness image, the intensities of the reduced-sharpness image being adjusted to the intensities of the intensities of the image with the blurred edge image function in order to generate a sharpness- and intensity-adapted image.

Procedure according to Claim 5 , characterized in that to determine the transformation information, the sharp and intensity-adapted image and the other of the two images are registered with one another.

Method according to one of the preceding claims, characterized in that the two images are CT images, the first image being recorded with a lower emitter voltage than the second image.

Procedure according to Claim 7 , characterized in that when the intensity values are adjusted, only the intensity values with CT values greater than water are adjusted, while the intensity values with CT values smaller than water are not adjusted.

Method according to one of the preceding claims, characterized in that the sharpness parameter of the first and second image is determined with determining a modulation transfer function for the first and second image.

Method according to one of the preceding claims, characterized in that when adjusting the intensity values, spectrally dependent contrasts are adjusted.

Method according to one of the preceding claims, characterized in that when determining the transformation information, anatomical knowledge of the anatomy represented in the first and second image is taken into account and used.

Device which is designed to register a second image on a first image, the device having a memory unit and at least one processor unit, the memory unit having control commands that can be executed by the at least one processor unit, with the control commands being executed in the at least one processor unit The device is embodied in a method according to one of the Claims 1 to 11 perform.

Computer program product which comprises control commands and can be loaded directly into a memory unit of a device in order to carry out all steps of the method according to one of the Claims 1 - 11 executed when the control commands are executed in the control unit.