DE102019217524A1

DE102019217524A1 - Verfahren und Bildverarbeitungsvorrichtung zum Segmentieren von Bilddaten und Computerprogrammprodukt

Info

Publication number: DE102019217524A1
Application number: DE102019217524.4A
Authority: DE
Inventors: Alexander Gemmel; Holger Kunze; Klaus Maier-Hein; Sarina Thomas
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2019-11-13
Filing date: 2019-11-13
Publication date: 2021-05-20
Also published as: CN112884699A; US11430126B2; CN112884699B; US20210142482A1

Abstract

Die Erfindung betrifft ein Verfahren (15) sowie eine zu dessen Ausführung eingerichtete Bildverarbeitungseinrichtung (1, 3) zum Segmentieren von Bilddaten eines Zielobjekts (2). Bei dem Verfahren (15) wird eine erste Segmentierung mittels eines trainierten Algorithmus (8) erzeugt. Weiter wird ein statistisches Form- und Erscheinungsmodell (10), das auf entsprechende Zielobjekte trainiert ist, bereitgestellt. Weiter wird ein Störungsbereich bestimmt, in dem die Bilddaten durch ein Bildartefakt gestört sind. Es wird dann eine endgültige Segmentierung der Bilddaten durch Anpassen des Form- und Erscheinungsmodells (10) an das jeweilige Zielobjekt (2) außerhalb des Störungsbereiches und Verwenden der ersten Segmentierung in dem Störungsbereich erzeugt.

Description

Die Erfindung betrifft ein Verfahren und eine Bildverarbeitungsvorrichtung zum Segmentieren von Bilddaten. Die Erfindung betrifft auch ein entsprechendes Computerprogrammprodukt.
Die computerunterstützte bildgebende und bildverarbeitende Medizintechnik wurde in den letzten Jahren erfolgreich angewendet und weiterentwickelt, bietet aber noch immer Potenzial für weitere Verbesserungen. So gibt es beispielsweise Segmentierungs- und Registrierungsverfahren, die zwar bei Verfügbarkeit optimaler Ausgangsdaten gute Ergebnisse liefern, deren Genauigkeit oder Zuverlässigkeit bei Vorliegen von Störungen oder Artefakten in den jeweiligen Daten jedoch nicht immer zufriedenstellend ist.
Aufgabe der vorliegenden Erfindung ist es, eine robustere Segmentierung von störungsbehafteten Bilddaten zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren angegeben.
Das erfindungsgemäße Verfahren dient zum Segmentieren von Bilddaten, die zumindest ein vorgegebenes Zielobjekt darstellen. Derartige Bilddaten können beispielsweise Röntgen- oder Magnetresonanzbilddaten sein oder umfassen. Bevorzugt kann es sich um 3D-Bilddaten handeln, also beispielsweise um eine 3D-Repräsentation zumindest des Zielobjekts, etwa durch ein CT- oder MR-Volumen (CT: Computertomografie, MR: Magnetresonanzbildgebung). Das Zielobjekt kann bevorzugt ein anatomisches Element oder ein Anatomiemerkmal eines Patienten sein, beispielsweise ein Knochen oder ein Organ oder ein jeweiliger Abschnitt oder Ausschnitt davon. Grundsätzlich kann es sich bei dem Zielobjekt letztlich aber um ein beliebiges Objekt handeln, das der Bildgebung zugänglich ist.
In einem Verfahrensschritt des erfindungsgemäßen Verfahrens wird eine erste Segmentierung der Bilddaten mittels eines bereitgestellten trainierten Algorithmus erzeugt. Ein solcher trainierter Algorithmus kann beispielsweise ein trainiertes künstliches neuronales Netz oder dergleichen sein. Der Algorithmus beziehungsweise das neuronale Netz ist dabei darauf trainiert, zumindest Objekte von der Art des Zielobjekts in Bilddaten zu segmentieren. Dies kann in an sich bekannter Weise beispielsweise durch Verarbeiten einer Vielzahl vorgegebener annotierter Trainingsdaten, in denen jeweils wenigstens ein Objekt von der Art des Zielobjekts dargestellt und annotiert ist, sowie entsprechende rückgekoppelte Anpassung des Algorithmus, beispielsweise mittels Rückpropagierung (englisch: Backpropagation) erreicht werden. Mittels des derart trainierten Algorithmus können dann also Objekte von der Art des Zielobjekts in bereitgestellten Bilddaten automatisch erkannt und beispielsweise deren Grenzen, Umrisse und/oder zugehörige Bild- oder Datenbereiche zum Segmentieren des jeweiligen Zielobjekts beziehungsweise der Bilddaten bestimmt oder gekennzeichnet werden.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird ein statistisches Form- und Erscheinungsmodell bereitgestellt, das auf Objekte von der Art des jeweiligen Zielobjekts trainiert ist. Derartige Modelle werden fachsprachlich auch als Active Shape Model (ASM, Smart Snakes), Active Appearance Model (AAM) oder Active Contour Model (Snakes) bezeichnet. Mittels eines derartigen Modells können Bilddaten automatisch verarbeitet werden, wobei das jeweilige Modell an die jeweiligen Bilddaten angepasst wird, wodurch Eigenschaften der Bilddaten oder in den Bilddaten dargestellter Objekte bestimmt werden können. Dass es sich hier um ein trainiertes statistisches Modell handelt, bedeutet, dass das Modell anhand von bereitgestellten Trainingsdaten erzeugt wurde und statistische Verteilungen in diesen Trainingsdaten berücksichtigt und/oder auf den Trainingsdaten basierende Beschränkungen oder Randbedingungen aufweist. So kann eine derartige Randbedingung beispielsweise sein, dass das vorgegebene Modell von einem noch nicht an konkrete zu segmentierende Bilddaten angepassten Ausgangszustand punktweise oder abschnittsweise jeweils nur in einer Weise verformt oder angepasst wird oder werden kann, die aus den Trainingsdaten bekannt oder abgeleitet ist.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird wenigstens ein Störungsbereich der Bilddaten oder in den Bilddaten bestimmt, in dem die Bilddaten - zumindest vermutlich - durch wenigstens ein Bildartefakt gestört sind. Der wenigstens eine Störungsbereich wird dabei anhand von Unterschieden zwischen den Bilddaten und dem Form- und Erscheinungsmodell bestimmt. Dazu kann insbesondere das Form- und Erscheinungsmodell in einem Ausgangszustand, also bevor das Form- und Erscheinungsmodell auf die jeweiligen zu segmentierenden Bilddaten angepasst wurde, verwendet werden.
Das Form- und Erscheinungsmodell kann eine aus den genannten Trainingsdaten abgeleitete statistische, also beispielsweise gemittelte oder erwartete, Beschreibung oder Charakterisierung von Objekten von der Art des jeweiligen Zielobjekts beziehungsweise entsprechender Bilddaten enthalten oder umfassen. Dabei kann das Form- und Erscheinungsmodell bevorzugt anhand von artefaktfreien Bilddaten trainiert sein. Dies ist jedoch nicht notwendigerweise Voraussetzung, da Artefakte oder Störungen über eine Vielzahl von Bilddatensätzen hinweg typischerweise in ihrer Ausprägung und/oder ihrer Position variieren, insbesondere wenn die Bilddatensätze von unterschiedlichen Patienten stammen, mittels unterschiedlicher bildgebende Geräte aufgenommen wurden und/oder zu unterschiedlichen Zeitpunkten aufgenommen worden. Eine derartige Variation oder Verteilung kann dann dazu führen, dass an jeder beliebigen Stelle der Bilddaten in den meisten als Trainingsdaten bereitgestellten Bilddatensätzen keine Störung, also kein Artefakt vorliegt und damit entsprechend an dieser Stelle durch das Form- und Erscheinungsmodell keine Störung oder kein Artefakt erwartet wird.
Ein Störungsbereich kann ein Bereich oder Ausschnitt der Bilddaten sein, die nur gestörte, also durch das jeweilige Artefakt veränderte Bildwerte enthält. Ebenso kann ein Störungsbereich aber beispielsweise eine vorgegebene Umgebung oder einen vorgegebenen Radius um eine Störung, also das jeweilige Artefakt, herum umfassen. Dadurch können die Störungen oder Artefakte und hierdurch veränderte oder beeinflusste Bildwerte besonders zuverlässig durch den jeweiligen Störungsbereich erfasst, also in dem jeweiligen Störungsbereich enthalten sein. Möglichkeiten, wie der wenigstens eine Störungsbereich in den Bilddaten bestimmt werden kann, werden weiter unten näher erläutert.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird eine endgültige Segmentierung des Zielobjekts beziehungsweise der Bilddaten durch Anpassen des Form- und Erscheinungsmodells an das Zielobjekt beziehungsweise an die Bilddaten außerhalb, insbesondere nur außerhalb, des wenigstens einen Störungsbereiches und durch Verwenden der ersten Segmentierung in dem oder für den wenigstens einen Störungsbereich, insbesondere nur dort, erzeugt. Mit anderen Worten werden hier also bereichsweise unterschiedliche Segmentierungsverfahren angewendet und miteinander kombiniert, wobei als Kriterium für die Festlegung der Bereiche beziehungsweise für die Auswahl oder Verwendung der anzuwendenden Segmentierungsmethode das Vorliegen oder Nichtvorliegen von Störungen oder Artefakten in einem jeweiligen Bereich zugrunde gelegt und ausgewertet wird.
Das Anpassen des Form- und Erscheinungsmodells an das Zielobjekt beziehungsweise an die Bilddaten wird auch als Registrieren des Form- und Erscheinungsmodells mit oder zu den jeweiligen Bilddaten bezeichnet. Durch dieses Anpassen oder Registrieren des Form- und Erscheinungsmodells bildet dieses zumindest das jeweilige Zielobjekt nach, wodurch dessen Gestalt und Anordnung dann durch das entsprechend registrierte oder angepasste Form- und Erscheinungsmodell bestimmt ist, was letztlich eine entsprechende Segmentierung bedeutet oder darstellt.
Die vorliegende Erfindung basiert auf den Erkenntnissen, dass bei direkter Anwendung eines Form- und Erscheinungsmodells auf die jeweiligen Bilddaten vorteilhaft typischerweise eine genauere Segmentierung mit anatomisch plausiblen und geschlossenen Formen erreicht werden kann, was bei Verwendung eines herkömmlichen neuronalen Netzes nicht immer der Fall ist, wobei diese verbesserte Genauigkeit aber nicht gegeben ist in den Störungsbereichen, in denen wiederum die Segmentierung mittels eines neuronalen Netzes oder dergleichen typischerweise genauer oder robuster sein kann.
Dies kann beispielsweise dadurch bedingt sein, dass trainierte Algorithmen, insbesondere neuronale Netze, eine Vielzahl abstrakter Merkmale und Eigenschaften der Bilddaten verwenden oder berücksichtigen können, während das Form- und Erscheinungsmodell beispielsweise auf relativ wenige konkrete Merkmale, wie beispielsweise konkrete geometrische Merkmale oder eine kontinuierliche Bild- oder Grauwertverteilung in den Bilddaten, angewiesen ist. Im Falle von Störungen oder Artefakten repräsentieren diese konkreten Merkmale dann nicht tatsächliche Eigenschaften des durch die Bilddaten erfassten abgebildeten Zielobjekts.
Beispielsweise basiert also die Grauwertverteilung in den Bilddaten in dem wenigstens einen Störungsbereich nicht auf einer realen anatomischen Struktur des Zielobjekts, sondern wird von nicht anatomisch begründeten Intensitätsschwankungen überlagert. Damit würde dann also das Anpassen des Form- und Erscheinungsmodells an die entsprechend gestörten Bilddaten dazu führen, dass das angepasste Form- und Erscheinungsmodell nicht in die reale Gestalt und Anordnung oder anatomische Struktur des abgebildeten Zielobjekts nachbildet. Dies kann vor allem problematisch sein, da das Vorkommen, die Verteilung und die Ausprägung von Störungsbereichen oder Artefakten zeitlich und/oder über verschiedene Sätze von Bilddaten, insbesondere unterschiedlicher Patienten, hinweg signifikant variieren kann und daher nicht vollständig oder zuverlässig im Training des Form- und Erscheinungsmodells abgebildet werden kann.
Insbesondere wenn es sich bei den Bilddaten um CT- oder MR-Daten handelt, können Störungsbereiche im Sinne der vorliegenden Erfindung beispielsweise durch metallische Objekte im Abbildungsvolumen, beispielsweise metallische Implantate oder metallische medizinische Geräte oder Instrumente, erzeugt werden.
Es konnte nachgewiesen werden, dass eine Segmentierung mittels eines trainierten Algorithmus im Sinne der vorliegenden Erfindung robuster gegenüber derartigen Störungen sein kann.
Ein trainierter Algorithmus im Sinne der vorliegenden Erfindung stellt eine Methode des maschinellen Lernens dar, soll hier aber Form- und Erscheinungsmodelle im Sinne der vorliegenden Erfindung explizit nicht umfassen.
Grundsätzlich könnte es möglich sein, über das gesamte Zielobjekt oder die gesamten Bilddaten hinweg das Form- und Erscheinungsmodell an die mittels des trainierten Algorithmus erzeugte erste Segmentierung und nicht direkt an die zugrunde liegenden ursprünglichen Bilddaten anzupassen. Durch einen derartigen Zwischenschritt im Segmentierungs- oder Registrierungsvorgang kann jedoch die letztendliche Genauigkeit der Segmentierung insgesamt reduziert werden, insbesondere außerhalb der Störungsbereiche, also in ungestörten Bereichen der Bilddaten, die typischerweise den größten Teil der Bilddaten und auch den größten Teil eines das Zielobjekt darstellenden Bereiches der Bilddaten bilden.
Insgesamt kann durch die vorliegende Erfindung vorteilhaft also die gesamte oder durchschnittliche Genauigkeit der Segmentierung auch bei problematischen, also gestörten oder artefaktbehafteten, Bilddatensätzen verbessert werden. Dies kann insbesondere mit einem praktikablen Aufwand erreicht werden, da das bereitgestellte Form- und Erscheinungsmodell in seiner Ausgangsform oder seinem Ausgangszustand nur einmalig erzeugt werden muss und dann für unterschiedliche Patienten oder Bilddatensätze verwendet werden kann. Dabei kann für jeden Patienten oder jeden Satz zu segmentierender Bilddaten beispielsweise eine neue Instanz des Form- und Erscheinungsmodells, beispielsweise durch einfaches Kopieren, erzeugt und verwendet werden. Es ist also vorteilhaft beispielsweise kein Nachtrainieren des Form- und Erscheinungsmodells auf den jeweiligen individuellen Datensatz, also die jeweils zu segmentierenden Bilddaten notwendig. Damit kann die vorliegende Erfindung unter Verwendung jeweils des gleichen Form- und Erscheinungsmodells und des gleichen trainierten Algorithmus also bei unterschiedlichen Fragestellungen nutzbringend eingesetzt werden, bei denen beispielsweise eine Position von, insbesondere metallischen, Störobjekten, beispielsweise zur Fixierung von Knochenbrüchen oder dergleichen, variiert.
In vorteilhafter Ausgestaltung der vorliegenden Erfindung umfasst das Form- und Erscheinungsmodell einen Formmodellanteil (ASM), der auf einem Punk-Verteilungs-Modell (PDM, englisch: Point Distribution Model) basiert, und einen Erscheinungsmodellanteil (AAM), der Bildwerte in einer Objektumgebung beschreibt oder enthält. Diese Bildwerte können insbesondere eine Grauwertverteilung sein, die insbesondere jeweils lokal, also an jeder Stelle des gewaltigen Objekts senkrecht zu dessen Oberfläche stehen, also definiert sein kann. Mit anderen Worten ist das Form- und Erscheinungsmodell hier also ein kombiniertes oder erweitertes Modell. Durch die unterschiedlichen Anteile bietet das hier vorgesehene Form- und Erscheinungsmodell vorteilhaft eine besonders große Flexibilität und ermöglicht vorteilhaft eine besonders genaue Anpassung an das jeweilige Zielobjekt beziehungsweise die jeweiligen Bilddaten. Der Formmodellanteil beziehungsweise das ASM kann ein statistisches Modell eines Objekts oder von dessen äußerer Grenze, Kontur und/oder Oberfläche sein oder enthalten und kann in einem iterativen Prozess zum Anpassen an ein konkretes entsprechendes Objekt, hier also das in den Bilddaten dargestellte Zielobjekt, deformiert werden.
Eine solche Deformation, also die Form oder Gestalt, die durch das ASM angenommen oder nachgebildet werden kann, ist dabei beschränkt durch einen als Teil des Formmodellanteils vorgegebenes PDM. Damit kann die Form des jeweiligen Objekts durch einen Satz oder eine Menge von Punkten beziehungsweise deren Positionen repräsentiert oder beschrieben werden, die oder deren Anordnung durch das Modell gesteuert wird. Der Formmodellanteil stellt also für die Anpassung an das jeweilige Zielobjekt zumindest im Wesentlichen oder ausschließlich auf geometrische Merkmale ab.
Der Erscheinungsmodellanteil ist oder umfasst hingegen ein AAM, das Bild- oder Intensitätswerte, insbesondere Grauwerte, der Bilddaten für die Anpassung an das jeweilige Zielobjekt beziehungsweise an die jeweiligen bereitgestellten Bilddaten berücksichtigt. Das AAM kann ebenso eine Oberfläche oder Textur des jeweiligen Zielobjekts und/oder anderer Bereiche der Bilddaten, insbesondere einer Umgebung des jeweiligen Zielobjekts, bei der Anpassung berücksichtigen. Das AAM beziehungsweise das Form- und Erscheinungsmodell insgesamt kann also als maschinelles Sehen oder Bildverstehen (englisch: Computer Vision) aufgefasst oder verstanden werden. Das AAM, also der Erscheinungsmodellanteil, berücksichtigt dabei nicht oder nicht nur geometrische Merkmale, Faktoren oder Begrenzungen, sondern ein Erscheinungsbild oder Aussehen oder eine Textur des Objekts oder der Bilddaten.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird zunächst eine vorläufige zweite Segmentierung der Bilddaten erzeugt durch Anpassen des Form- und Erscheinungsmodells mittels des Formmodellanteils an eine durch die erste Segmentierung, also die mittels des trainierten Algorithmus, bestimmte Form des Zielobjekts. Mit anderen Worten wird hier also nach der ersten Segmentierung zunächst eine vorläufige Anpassung des Form- und Erscheinungsmodells durchgeführt, bevor die endgültige Segmentierung erzeugt wird. Diese vorläufige Anpassung liefert als Ergebnis eine vorläufige Registrierung oder eine vorläufige oder erste Schätzung der Registrierung des Form- und Erscheinungsmodells zu den Bilddaten.
Die endgültige Segmentierung oder Registrierung kann dann auf dieser vorläufigen Segmentierung oder Registrierung aufbauen, also von dem vorläufig angepassten Form- und Erscheinungsmodell ausgehen.
Durch die hier vorgesehene mehrstufige Registrierung des Form- und Erscheinungsmodells und die Verwendung der im vorliegenden Verfahren ohnehin vorhandenen ersten Segmentierung als Grundlage oder Referenz für die vorläufige zweite Segmentierung kann eine verbesserte Effizienz und Ausführungsgeschwindigkeit des Verfahrens erreicht werden. Typischerweise wird die erste Segmentierung beispielsweise klarere Linien, Konturen oder Formen, weniger Rauschen und/oder Bildstörungen oder Ambiguität aufweisen als die zugrunde liegenden ursprünglichen Bilddaten. Damit kann eine Konvergenz des Form- und Erscheinungsmodells beziehungsweise des Formmodellanteils im Rahmen der vorläufigen zweiten Segmentierung beschleunigt werden im Vergleich zur Verwendung die ursprünglichen Bilddaten.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird zum Erzeugen der endgültigen Segmentierung außerhalb des wenigstens einen Störungsbereiches das vorläufig angepasste Form- und Erscheinungsmodell mittels des Erscheinungsmodellanteils an das Zielobjekt gemäß den Bilddaten feinangepasst. Mit anderen Worten wird hier also die vorläufige zweite Segmentierung als Ausgangspunkt für die endgültige Segmentierung verwendet. In diesem zweiten Schritt oder Teil der Registrierung des Form- und Erscheinungsmodells werden dabei als Referent oder zu erreichende Zielvorgabe aber nicht die erste Segmentierung, sondern die zugrunde liegenden ursprünglichen Bilddaten verwendet. Dies ermöglicht es vorteilhaft, die erste Segmentierung mittels eines herkömmlichen trainierten Algorithmus, beispielsweise eines herkömmlichen zur Bildsegmentierung trainierten konvolutionalen neuronalen Netzes (CNN) durchzuführen und dennoch die typischerweise nur in den zugrunde liegenden Bilddaten und nicht in einem Ergebnis oder Output des trainierten neuronalen Netzes vollständig enthaltenen Bildwerte zu verwenden, um eine möglichst genaue Anpassung des Form- und Erscheinungsmodells und somit eine besonders genaue Segmentierung zu erreichen. Es werden hier also nicht nur geometrische Merkmale oder Informationen, sondern durch den Erscheinungsmodellanteil auch Aussehens-, Textur- oder Oberflächeninformationen verwendet beziehungsweise berücksichtigt. Ein damit einhergehender Aufwand kann hier vorteilhaft besonders gering gehalten werden, da das bereits vorläufig angepasste Form- und Erscheinungsmodell als Ausgangspunkt verwendet wird, wodurch sich letztlich ebenfalls eine verbesserte Ausführungseffizienz und Ausführungsgeschwindigkeit für das vorliegende Verfahren ergeben kann.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird zum Bestimmen des wenigstens einen Störungsbereiches eine Kreuzkorrelation zwischen Bildwerten der Bilddaten und durch das bereitgestellte Form- und Erscheinungsmodell beschriebenen oder darin enthaltenen oder angegebenen Bildwerten verwendet oder ausgewertet. Mit anderen Worten kann also bereichsweise bestimmt werden, wie sehr oder wie stark die Bilddaten mit den statistisch begründeten erwarteten entsprechenden Daten oder Bildwerten gemäß dem bereitgestellten Form- und Erscheinungsmodell korrelieren. Eine besonders schwache oder geringe, beispielsweise unterhalb eines vorgegebenen Schwellenwertes liegende, Korrelation in einem bestimmten Bereich der Bilddaten kann dann als Vorliegen einer Störung oder eines Artefakts in diesem Bereich interpretiert werden. Dies kann erfolgreich bereits vor dem Anpassen des Form- und Erscheinungsmodells an die Bilddaten beziehungsweise an das darin dargestellte Zielobjekt durchgeführt werden, da Bildwerte in einem Störungsbereich signifikant größer sein können als sämtliche rein anatomisch begründeten Bildwerte, insbesondere wenn die jeweilige Störung durch ein metallisches Störobjekt verursacht ist. Die hier vorgesehene Verwendung der Kreuzkorrelation kann vorteilhaft ein genaueres und zuverlässigeres Bestimmen gegebenenfalls vorhandener Störungsbereiche ermöglichen als beispielsweise eine einfache, direkt auf die zu segmentierenden Bilddaten angewendete Schwellenwertfilterung. Dies kann beispielsweise der Fall sein, da auch in störungsfreien oder artefaktfreien Bilddatenbereichen, Abschnitte oder Verläufe mit signifikant variierenden Bild- oder Grauwerten auftreten können, beispielsweise je nach Art des abgebildeten Zielobjekts.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird die Kreuzkorrelation in einer normierten Form gemäß $ρ_{X X} (t_{1}, t_{2}) = \frac{K_{X X} (t_{1}, t_{2})}{σ_{X} (t_{1}) σ_{X} (t_{2})} = \frac{E [(X_{t_{1}} - μ_{t_{1}}) (X_{t_{2}} - μ_{t_{2}})]}{σ_{X} (t_{1}) σ_{X} (t_{2})}$
verwendet. Dabei geben p den Wert der normierten Kreuzkorrelation, K den Wert der nicht-normierten Kreuzkorrelation, X(t₁) beziehungsweise X_t1 eine ortsaufgelöste Bild- oder Grauwertverteilung der Bilddaten, X(t₂) beziehungsweise X_t2 eine ortsaufgelöste Bild- oder Grauwertverteilung gemäß dem bereitgestellten Form- und Erscheinungsmodell (10), σ die jeweilige Standardabweichung, E den Erwartungswert und µ den jeweiligen Mittelwert an.
Hier wird also die Kreuzkorrelation zwischen einem ersten Signal, dass die Bild- beziehungsweise Grauwertverteilung, insbesondere senkrecht zur Objektoberfläche, gemäß den ursprünglichen Bilddaten angibt, und einem zweiten Signal, dass die Bild- beziehungsweise Grauwertverteilung, insbesondere senkrecht zur Objektoberfläche, gemäß dem Form- und Erscheinungsmodell angibt, bestimmt. Die entsprechenden Werte oder Signale werden dabei mittelwertbereinigt und anhand der Standardabweichungen normiert. Mit diesem Ansatz ergibt sich erfahrungsgemäß vorteilhaft eine besonders zuverlässige und robuste Bestimmung der Störungsbereiche.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird der wenigstens eine Störungsbereich anhand eines vorgegebenen Schwellenwertes, insbesondere für Bildwerte oder für eine Bildwertedifferenz oder für eine Korrelation zwischen den Bilddaten und dem Form- und Erscheinungsmodell, bestimmt. Beispielsweise können Bereiche der Bilddaten, in denen wenigstens ein Bildwert oder mehrere oder alle Bildwerte größer als der vorgegebene Schwellenwert sind, und/oder Bereiche, in denen eine Differenz oder Abweichung zwischen wenigstens einem Bildwert oder einigen oder allen Bildwerten der Bilddaten und entsprechenden Bildwerten gemäß dem Form- und Erscheinungsmodell größer als der vorgegebene Schwellenwert sind, und/oder Bereiche, in denen die Korrelation zwischen den Bilddaten und dem Form- und Erscheinungsmodell oder deren Bildwerten kleiner als der vorgegebene Schwellenwert ist, als Störungsbereich bestimmt oder definiert werden. Eine solche schwellenwertbasierte Bestimmung des wenigstens einen Störungsbereiches kann vorteilhaft besonders einfach, genau, zuverlässig und schnell durchgeführt werden. Gleichzeitig bietet dieses Vorgehen vorteilhaft eine besonders gute Flexibilität und Anpassbarkeit des vorgeschlagenen Verfahrens, da das Verhalten beziehungsweise die Ergebnisse des Verfahrens durch Anpassen eines einzigen Wertes, nämlich des vorgegebenen Schwellenwertes, angepasst oder eingestellt, also optimiert werden können.
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird der Schwellenwert als Vielfaches einer Varianz eines Rauschniveaus in zum Erzeugen des Form- und Erscheinungsmodells verwendeten Trainingsdaten festgelegt. Es kann mit anderen Worten also vorgesehen sein, dass ein Bildwert der zu segmentierenden Bilddaten als Störung oder Artefakt erkannt wird, wenn dieser um ein n-Faches größer als der entsprechende in dem Form- und Erscheinungsmodell gespeicherte oder vorgesehene Bildwert ist, wobei n eine vorgegebene Zahl ist. Dadurch, dass die Varianz des Rauschens als Referenz oder Basiswert zugrunde gelegt wird, kann über den Schwellenwert vorteilhaft besonders einfach und anschaulich ein Signal-Rausch-Verhältnis oder ein Signalabstand definiert oder eingestellt werden, um den wenigstens einen Störungsbereich zu bestimmen. Insbesondere für n > 1 oder beispielsweise n > 2 kann dabei die Erkennung von tatsächlichen Störungsbereichen besonders zuverlässig und robust sein, sodass insbesondere Fehlerkennungen (false positives) besonders zuverlässig unterbunden werden können.
Unabhängig von der übrigen Ausgestaltung kann der Schwellenwert bevorzugt abhängig von einer erwarteten oder vorgegebenen Art von Störungen oder Artefakten, die in den zu segmentierenden Bilddaten vorhanden sind oder erwartet werden, also beispielsweise abhängig von einer Ursache dieser Störungen oder Artefakte, vorgegeben sein oder festgelegt werden. Handelt es sich beispielsweise um Metallartefakte, also durch metallische Objekte im Aufnahmevolumen verursachte Störungen, so kann der Schwellenwert abhängig von der Art des jeweiligen Metalls oder Materials festgelegt sein. Hat ein artefaktverursachendes Störobjekt beispielsweise einen signifikanten Eisenanteil oder besteht zum Großteil aus Eisen, so kann ein größerer Schwellenwert für die Korrelation beziehungsweise ein kleinerer Schwellenwert für die Abweichung oder Differenz der Bildwerte festgelegt werden als dann, wenn das artefaktverursachende Störobjekt zumindest zum Großteil aus einem Leichtmetall, wie beispielsweise Aluminium oder Titan, besteht.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird der wenigstens eine Störungsbereich automatisch durch einen zweiten trainierten Algorithmus, insbesondere ein zweites trainiertes künstliches neuronales Netz, bestimmt. Dieser zweite trainierte Algorithmus ist dabei anhand von artefaktbehafteten Trainingsbilddaten darauf trainiert, entsprechende Störungsbereiche in Bilddaten zu erkennen, also zu lokalisieren. Eine derartige Verwendung eines trainierten Algorithmus, also einer Einrichtung oder Methode des maschinellen Lernens, kann vorteilhaft eine besonders einfache und konsistente Bestimmung von Störungsbereichen ermöglichen. So muss beispielsweise ein jeweiliger Nutzer oder Anwender damit nicht manuell einen Schwellenwert festlegen oder anpassen. Dabei bleibt aber weiterhin eine gewisse Flexibilität erhalten, da der trainierte Algorithmus bei Bedarf auf unterschiedliche Anwendungen oder Szenarien nachtrainiert werden kann.
Der zweite trainierte Algorithmus kann mit an sich bekannten Verfahren in üblicher Weise trainiert werden, beispielsweise mittels Rückpropagierung.
Als Eingangsdaten können dem zweiten trainierten Algorithmus die Bilddaten bereitgestellt oder eingegeben werden. Als Ausgangsdaten kann der zweite trainierte Algorithmus beispielsweise Koordinaten- oder Bereichsangaben für jeden gegebenenfalls erkannten Störungsbereich oder modifizierte, beispielsweise mit einer jeweiligen, einen erkannten Störungsbereich markierenden Kontur oder Linie oder Einfärbung oder dergleichen versehene, Bilddaten ausgeben. Diese Ausgangsdaten können dann als Parameter in dem erfindungsgemäßen Verfahren verwendet werden. Besonders bevorzugt - aber nicht notwendigerweise darauf beschränkt - kann der zweite trainierte Algorithmus ebenfalls ein konvolutionales neuronales Netz (CNN) sein oder umfassen, da damit erfahrungsgemäß besonders gute Ergebnisse erzielt werden können.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung zum Segmentieren von Bilddaten, die zumindest ein vorgegebenes Zielobjekt darstellen. Die erfindungsgemäße Bildverarbeitungseinrichtung umfasst zumindest eine Eingangsdatenschnittstelle zum Empfangen der jeweiligen Bilddaten, einen trainierten Algorithmus, insbesondere ein trainiertes künstliches neuronales Netz, der beziehungsweise das darauf trainiert ist, zumindest Objekte von der Art des Zielobjekts in Bilddaten zu erkennen oder zu segmentieren, einen Datenspeicher, in dem ein vorgegebenes Form- und Erscheinungsmodell, das auf Objekte von der Art des Zielobjekts trainiert ist, gespeichert ist, und eine Prozessoreinrichtung zum Ausführen des trainierten Algorithmus und zum Anpassen des Form- und Erscheinungsmodells. Die erfindungsgemäße Bildverarbeitungseinrichtung ist dabei dazu eingerichtet, zumindest eine Variante oder Ausführungsform des erfindungsgemäßen Verfahrens automatisch oder teilautomatisiert auszuführen. Dementsprechend kann die erfindungsgemäße Bildverarbeitungsvorrichtung also einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder weiteren Aspekt der vorliegenden Erfindung genannten Bauteile, Merkmale und/oder Eigenschaften aufweisen. Umgekehrt können die Bauteile oder Komponenten der erfindungsgemäßen Bildverarbeitungsvorrichtung den im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten entsprechenden Bauteile oder Komponenten sein oder diesen entsprechen.
Die einzelnen Bauteile oder Komponenten der erfindungsgemäßen Bildverarbeitungseinrichtung können über entsprechende Datenverbindungen miteinander verbunden sein. Die genannten Datenschnittstellen können Hardware- und/oder Softwareschnittstellen sein.
Ein mittels der Bildverarbeitungseinrichtung beim Verarbeiten der zu segmentierenden Bilddaten erzeugtes Ergebnis kann automatisch beispielsweise auf dem Datenspeicher gespeichert und/oder über eine Ausgabedatenschnittstelle der Bildverarbeitungsvorrichtung ausgegeben werden.
Die Verfahrensschritte des erfindungsgemäßen Verfahrens können durch die Prozessoreinrichtung der Bildverarbeitungsvorrichtung unter Verwendung einer oder mehrerer der übrigen Bauteile oder Komponenten der Bildverarbeitungseinrichtung ausgeführt werden. Die Prozessoreinrichtung kann einen Mikroprozessor, einen Mikrochip, ein FPGA, einen integrierten Schaltkreis, eine Hardwareschaltung und/oder dergleichen mehr umfassen. Die Bildverarbeitungseinrichtung kann insbesondere ein Computer oder ein realer oder virtueller Verbund von Computern sein oder einen solchen umfassen.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogrammprodukt, das Befehle oder Steueranweisungen umfasst, die bei ihrer Ausführung durch einen Computer, insbesondere durch die erfindungsgemäße Bildverarbeitungsvorrichtung oder deren Prozessoreinrichtung, diesen Computer beziehungsweise diese Bildverarbeitungsvorrichtung dazu veranlassen, zumindest eine Variante oder Ausführungsform des erfindungsgemäßen Verfahrens, insbesondere automatisch oder teilautomatisch, auszuführen. Das erfindungsgemäße Computerprogrammprodukt kann ein Computerprogramm sein, das direkt in einen Speicher des Computers beziehungsweise der Bildverarbeitungsvorrichtung ladbar ist, mit Programm-Mitteln, um die Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm mittels des Computers beziehungsweise mittels der Bildverarbeitungsvorrichtung ausgeführt wird. Das Computerprogramm kann also das erfindungsgemäße Verfahren kodieren oder implementieren. Mit anderen Worten kann das erfindungsgemäße Verfahren teilweise oder vollständig ein computerimplementiertes Verfahren sein. Das Computerprogramm, also ein entsprechender Programmcode, kann bevorzugt auf dem Datenspeicher der erfindungsgemäßen Bildverarbeitungsvorrichtung gespeichert sein.
Das erfindungsgemäße Computerprogrammprodukt kann ebenso ein computerlesbarer Datenträger sein, auf dem ein entsprechendes Computerprogramm oder ein entsprechender Programmcode gespeichert ist. Die erfindungsgemäße Bildverarbeitungsvorrichtung kann dann einen derartigen computerlesbaren Datenträger aufweisen, beispielsweise in Form oder als Teil des genannten Datenspeichers der Bildverarbeitungsvorrichtung.
Zu der Erfindung gehören auch Weiterbildungen der verschiedenen Aspekte der Erfindung, also insbesondere des erfindungsgemäßen Verfahrens, der erfindungsgemäßen Bildverarbeitungsvorrichtung und des erfindungsgemäßen Computerprogrammprodukts, die Merkmale aufweisen, wie sie nur im Zusammenhang mit einem oder einigen dieser Aspekte der Erfindung beschrieben sind. Um unnötige Redundanz zu vermeiden, sind die entsprechenden Weiterbildungen der vorliegenden Erfindung beziehungsweise deren einzelner Aspekte hier nicht noch einmal für alle diese Aspekte separat beschrieben.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile der vorliegenden Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen der Erfindung, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Durch diese Beschreibung erfolgt keine Beschränkung der Erfindung auf diese Ausführungsbeispiele. Die Figuren sind in der Regel nicht maßstäblich.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung eines bildgebenden Geräts; und
2 einen beispielhaften schematischen Ablaufplan für ein Verfahren zum Segmentieren von Bilddaten mittels des bildgebenden Geräts.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In 1 ist in einer schematischen Darstellung ein Bildgebungsgerät 1 dargestellt. Das Bildgebungsgerät 1 kann beispielsweise ein Computertomograph oder eine Magnetresonanzanlage oder dergleichen sein, dient hier jedenfalls aber zum Aufnehmen oder Erfassen von Bilddaten eines Patienten 2. In diesen Bilddaten kann dabei ein vorgegebenes Zielobjekt, beispielsweise ein Knochen oder ein vorgegebener Gewebebereich des Patienten 2, abgebildet sein. Vorliegend umfasst das Bildgebungsgerät 1 eine Datenverarbeitungseinrichtung 3. Die Datenverarbeitungseinrichtung 3 kann eine Bildverarbeitungsvorrichtung zum Verarbeiten oder Weiterverarbeiten von ihr bereitgestellten, beispielsweise mittels des Bildgebungsgerät 1 aufgenommenen oder erzeugten, Bilddaten sein. Die Datenverarbeitungseinrichtung 3 kann ebenso zum Erzeugen oder Rekonstruieren der Bilddaten aus mittels des Bildgebungsgerät 1 aufgenommenen Roh- oder Messdaten eingerichtet sein.
Die Datenverarbeitungseinrichtung 3 umfasst hier zum Empfangen der Roh- oder Bilddaten eine Eingangsdatenschnittstelle 4, einen damit verbundenen Prozessor 5 und einen damit verbundenen Datenspeicher 6. Auf dem Datenspeicher 6 sind vorliegend ein Programm 7, ein vorgegebenes trainiertes erstes neuronales Netz 8, ein vorgegebenes trainiertes zweites neuronales Netz 9 und ein Form- und Erscheinungsmodell 10 gespeichert. Das Programm 7 ist mittels des Prozessors 5 zum Segmentieren der Bilddaten ausführbar, kodiert oder implementiert also entsprechende Verfahrens- oder Programmschritte. Das Form- und Erscheinungsmodell 10 umfasst einen Formmodellanteil, der hier als Active Shape Modell oder kurz ASM 11 bezeichnet wird, und einen Erscheinungsmodellanteil, der hier als Active Appearance Model oder kurz AAM 12 bezeichnet wird.
Die Datenverarbeitungseinrichtung 3 beziehungsweise das Bildgebungsgerät 1 ist dazu eingerichtet, mit diesen Mitteln eine Segmentierung von Bilddaten des Patienten 2 zumindest teilautomatisiert durchzuführen beziehungsweise zu erzeugen. Ein dabei anfallendes Ergebnis, also eine endgültige Segmentierung, kann beispielsweise über eine Ausgangsdatenschnittstelle 13 der Datenverarbeitungseinrichtung 3 ausgegeben werden, etwa an ein anderes Gerät oder Programm oder an eine hier ebenfalls beispielhaft schematisch dargestellte Anzeigeeinrichtung 14.
Die Datenverarbeitungseinrichtung 3 kann Hardware-Elemente ebenso wie Software-Elemente aufweisen. Beispielsweise können die Datenschnittstellen 4, 13 jeweils als Hardware- und/oder Softwareschnittstelle ausgebildet sein (beispielsweise PCI-Bus, USB, FireWire oder dergleichen mehr). Der Prozessor 5 kann beispielsweise ein Mikroprozessor oder ein sogenanntes FPGA (englisch: Field Programmable Array) oder dergleichen sein. Der Datenspeicher 6 kann als nicht dauerhafter Datenspeicher (RAM, Random Access Memory) oder als dauerhafter Massenspeicher, beispielsweise als Festplatte, USB-Stick, SD-Karte, Solid State Disk oder dergleichen, oder als Kombination daraus realisiert sein.
Das mittels der Datenverarbeitungseinrichtung 3 beziehungsweise des Bildgebungsgeräts 1 ausführbare Verfahren zum Segmentieren der Bilddaten, also etwa das Programm 7, und ein dabei auftretendes Zusammenwirken der Komponenten des Bildgebungsgeräts 1 beziehungsweise der Datenverarbeitungseinrichtung 3 soll im Folgenden unter Bezugnahme auf 1 und 2 erläutert werden.
2 zeigt dazu einen beispielhaften schematischen Ablaufplan 15 für ein entsprechendes Verfahren mit Verfahrensschritten S1 bis S10. Die in 2 schematisch dargestellten Verfahrensschritte S1 bis S10 oder einige davon können entsprechende Funktionen oder Programmmodule der Datenverarbeitungseinrichtung 3, des Programms 7 oder des Bildgebungsgeräts 1 sein oder repräsentieren.
Modelle wie das ASM 11 und das AAM 12 stellen statistische Methoden dar oder können in statistischen Methoden verwendet werden, um Objekte, insbesondere 3D-Objekte, die einer Varianz unterliegen, als Variationen aufweisen können, zu beschreiben. Derartige Objekte können beispielsweise Knochen oder Organe, also das vorliegend in den Bilddaten des Patienten 2 abgebildete Zielobjekt, sein. Mit Hilfe vorgegebener Parameter können die Modelle 11, 12 jeweils an das Zielobjekt angepasst werden, um dessen Form oder Gestalt nachzubilden. Als Ergebnis dieses Vorgangs erhält man dann eine entsprechende Segmentierung.
Im Verfahrensschritt S1 werden zunächst annotierte Trainings-Bilddaten, die Objekte von der Art des vorliegenden Zielobjekts darstellen, bereitgestellt. Anhand dieser Trainings-Bilddaten werden die Modelle 11, 12 trainiert. Dies kann mittels einer separaten Trainingseinrichtung, beispielsweise eines dazu eingerichteten Computers, oder mittels der Datenverarbeitungseinrichtung 3 durchgeführt werden.
Beispielsweise parallel dazu werden im Verfahrensschritt S2 ebenfalls die oder weitere Trainings-Bilddaten mit Objekten von der Art des Zielobjekts bereitgestellt. Anhand dieser Trainings-Bilddaten wird das erste neuronale Netz 8 darauf trainiert, die Bilddaten beziehungsweise die darin dargestellten Objekte von der Art des Zielobjekts zu erkennen und zu Segmentieren. Dazu kann ebenfalls die oder eine entsprechende Trainingseinrichtung, beispielsweise ein dazu eingerichteter Computer, oder die Datenverarbeitungseinrichtung 3 verwendet werden.
Beispielsweise parallel dazu werden vorliegend im Verfahrensschritt S3 ebenfalls die oder weitere artefaktbehaftete Trainings-Bilddaten bereitgestellt. Damit wird das zweite neuronale Netz 9 zum Erkennen und Lokalisieren von Störungsbereichen, also von Artefakten, in Bilddaten trainiert. Auch hierzu kann die oder eine Trainingseinrichtung, beispielsweise ein dazu eingerichteter Computer, oder die Datenverarbeitungseinrichtung 3 verwendet werden. Der Verfahrensschritt S3 kann hier optional sein.
Die derart trainierten Modelle 11, 12 und die derart trainierten neuronalen Netze 8, 9 werden dann in den Datenspeicher geladen oder in diesem gespeichert.
Im Verfahrensschritt S4 werden die genannten Bilddaten des Patienten 2 aufgenommen und über die Eingangsdatenschnittstelle 4 an die Datenverarbeitungseinrichtung 3 bereitgestellt. Ebenso können die Bilddaten bereits in einer Speichereinrichtung bereitliegen und dann von der Datenverarbeitungseinrichtung 3 über die Eingangsdatenschnittstelle 4 abgerufen werden.
Im Verfahrensschritt S5 werden die Bilddaten des Patienten 2 mittels des ersten neuronalen Netzes 8 verarbeitet, also segmentiert, wobei als Ergebnis oder Ausgangsdaten des ersten neuronalen Netzes 8 eine erste Segmentierung der Bilddaten erzeugt wird. Um hier bereits ein möglichst gutes Ergebnis zu erzielen, kann das erste neuronale Netz 8 speziell auf eine im jeweiligen Anwendungsfall zu detektierende Anatomie oder dergleichen trainiert sein.
Beispielsweise parallel dazu werden im Verfahrensschritt S6 die Bilddaten mittels des zweiten neuronalen Netzes 9 zum Erkennen und Lokalisieren von Artefakten oder Störungsbereichen in den Bilddaten verarbeitet. Zusätzlich oder alternativ kann im Verfahrensschritt S6, beispielsweise durch den Prozessor 5, eine Kreuzkorrelation der Bilddaten mit in dem Form- und Erscheinungsmodell 10, insbesondere in dem AAM 12, gespeicherten Bildwerten oder Bilddaten durchgeführt und ausgewertet werden. Auf die damit bestimmte Kreuzkorrelation beziehungsweise entsprechende Kreuzkorrelationswerte kann dann eine Schwellenwertfilterung mit einem vorgegebenen Schwellenwert angewendet werden, um die Störungsbereiche zu detektieren oder zu definieren.
Wenn beide hier genannten Methoden zum Bestimmen der Störungsbereiche angewendet werden, können die jeweils bestimmten Störungsbereiche miteinander abgeglichen und/oder beispielsweise zur einseitigen oder gegenseitigen Plausibilisierung verwendet werden. Als Störungsbereiche können letztlich sämtliche mittels zumindest einer der beiden Methoden detektierte Störungsbereiche oder nur die mittels beider Methoden detektierten Störungsbereiche verwendet werden. Aufgrund der unterschiedlichen Funktionsweise der beiden Methoden können diese zu einem bestimmten Artefakt, beispielsweise hinsichtlich ihrer Form, Größe und/oder Anordnung, voneinander abweichende Störungsbereiche erkennen oder definieren. Als Störungsbereich für dieses Artefakt kann dann beispielsweise eine Kombination oder Summe oder ein Mittelwert der beiden abweichenden Störungsbereiche verwendet werden. Damit lässt sich letztlich eine besonders robuste Definition und Lokalisierung etwaiger vorhandener Störungsbereiche realisieren.
Im Verfahrensschritt S7 erfolgt eine vorläufige Anpassung oder Registrierung des Form- und Erscheinungsmodells 10. Dabei wird das ASM 11 deformierbar auf die im Verfahrensschritt S5 erzeugte erste Segmentierung angepasst. Hier wird also eine vorläufige Registrierung des ASM 11 beziehungsweise des Form- und Erscheinungsmodells 10 anhand der mittels des ersten neuronalen Netzes 8 erzeugten ersten Segmentierung durchgeführt. Als Ergebnis ergibt sich eine vorläufige zweite Segmentierung beziehungsweise eine vorläufige oder geschätzte Registrierung des Form- und Erscheinungsmodells 10.
Im Verfahrensschritt S8 wird außerhalb der zuvor bestimmten Störungsbereiche ausgehend von der vorläufigen zweiten Segmentierung beziehungsweise ausgehend von dem vorläufig angepassten oder vorläufig registrierten Form- und Erscheinungsmodell 10 eine Feinanpassung des Form- und Erscheinungsmodells 10 durchgeführt. Hierbei werden das AAM 12, insbesondere die darin gespeicherten oder dadurch beschriebene Grauwertverteilung im Bereich und/oder in einer vorgegebenen Umgebung des Zielobjekts gemäß dem vorläufig angepassten oder vorläufig registrierten ASM 11 beziehungsweise eine Grauwertverteilung wie sie auf Basis der zum Erzeugen des AAM 12 bereitgestellten Trainingsdaten von diesem gelernt wurde sowie die Bild- oder Grauwertverteilung der Bilddaten verwendet. Im Ergebnis erhält man hier eine verbesserte Registrierung des Form- und Erscheinungsmodells 10 beziehungsweise eine entsprechende verbesserte Segmentierung zumindest außerhalb der Störungsbereiche.
Im Verfahrensschritt S11 wird aus dieser verbesserten Registrierung oder Segmentierung für die außerhalb der Störungsbereiche liegenden Bereiche oder Teile der Bilddaten und der ersten Segmentierung für die in den Störungsbereichen liegenden Bereiche oder Teile der Bilddaten durch deren Kombination die endgültige Segmentierung des Zielobjekts beziehungsweise der Bilddaten erzeugt. Die unterschiedlichen Segmentierungen werden hier also bereichsweise zusammengesetzt, um die endgültige Segmentierung zu erhalten.
Im Verfahrensschritt S10 wird diese endgültige Segmentierung bereitgestellt. Dabei kann die endgültige Segmentierung beispielsweise in dem Datenspeicher 6 gespeichert, über die Ausgangsdatenschnittstelle 13 ausgegeben und/oder mittels der Anzeigeeinrichtung 14 dargestellt werden. Ebenso kann beispielsweise die endgültige Segmentierung mit den ursprünglichen Bilddaten überlagert und/oder auf sonstige Weise weiterverarbeitet werden.
Da im Falle von Artefakten, also in den Störungsbereichen, die Segmentierung mittels des Form- und Erscheinungsmodells 10 zu Fehlern führen, die Segmentierung mithilfe des ersten neuronalen Netzes 8 dort jedoch robuster sein kann, und außerhalb der Störungsbereiche die Segmentierung mittels des Form- und Erscheinungsmodells 10 genauer oder zuverlässiger sein kann als die Segmentierung mittels des ersten neuronalen Netzes 8, wird so insgesamt über die gesamte Fläche oder den gesamten Bereich des Zielobjekts oder über die gesamten Bilddaten hinweg eine optimierte Segmentierungsgenauigkeit erreicht, also eine optimierte Segmentierung, die nicht oder nur minimal durch die Artefakte in den zugrunde liegenden Bilddaten gestört ist.
Insgesamt zeigen die beschriebenen Beispiele also, wie eine zuverlässige Registrierung von Active Shape Models beziehungsweise Active Appearance Models zu Bilddaten auch bei Vorliegen von Artefakten, insbesondere Metallartefakten, erreicht werden kann.

Claims

Verfahren (15) zum Segmentieren von Bilddaten, die zumindest ein vorgegebenes Zielobjekt (2) darstellen, mit den Verfahrensschritten - Erzeugen einer ersten Segmentierung der Bilddaten mittels eines bereitgestellten trainierten Algorithmus (8), der darauf trainiert ist, zumindest Objekte von der Art des Zielobjekts (2) in Bilddaten zu segmentieren, - Bereitstellen eines statistischen Form- und Erscheinungsmodells (10), das auf Objekte von der Art des Zielobjekts (2) trainiert ist, - Bestimmen wenigstens eines Störungsbereiches, in dem die Bilddaten durch wenigstens ein Bildartefakt gestört sind, anhand von Unterschieden zwischen den Bilddaten und dem Form- und Erscheinungsmodell (10), und - Erzeugen einer endgültigen Segmentierung durch Anpassen des Form- und Erscheinungsmodells (10) an das Zielobjekt (2) außerhalb des wenigstens einen Störungsbereiches und Verwenden der ersten Segmentierung in dem wenigstens einen Störungsbereich.
Verfahren (15) nach Anspruch 1, dadurch gekennzeichnet, dass das Form- und Erscheinungsmodell (10) einen Formmodellanteil (11), der auf einem Punkt-Verteilungs-Modell basiert, und einen Erscheinungsmodellanteil (12), der Bildwerte, insbesondere eine Grauwertverteilung, in einer vorgegebenen Objektumgebung beschreibt, umfasst.
Verfahren (15) nach Anspruch 2, dadurch gekennzeichnet, dass zunächst eine vorläufige zweite Segmentierung der Bilddaten durch Anpassen des Form- und Erscheinungsmodells (10) mittels des Formmodellanteils (11) an eine durch die erste Segmentierung bestimmte Form des Zielobjekts (2) erzeugt wird.
Verfahren (15) nach Anspruch 3, dadurch gekennzeichnet, dass zum Erzeugen der endgültigen Segmentierung außerhalb des Störungsbereiches das vorläufig angepasste Form- und Erscheinungsmodell (10) mittels des Erscheinungsmodellanteils (12) an das Zielobjekt (2) gemäß den Bilddaten feinangepasst wird.
Verfahren (15) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Bestimmen des Störungsbereiches eine Kreuzkorrelation zwischen Bildwerten der Bilddaten und durch das bereitgestellte Form- und Erscheinungsmodell (10) beschriebenen Bildwerten ausgewertet wird.
Verfahren (15) nach Anspruch 5, dadurch gekennzeichnet, dass die Kreuzkorrelation in einer normierten Form gemäß $ρ_{X X} (t_{1}, t_{2}) = \frac{K_{X X} (t_{1}, t_{2})}{σ_{X} (t_{1}) σ_{X} (t_{2})} = \frac{E [(X_{t_{1}} - μ_{t_{1}}) (X_{t_{2}} - μ_{t_{2}})]}{σ_{X} (t_{1}) σ_{X} (t_{2})}$
verwendet wird, wobei ρ den Wert der normierten Kreuzkorrelation, K den Wert der nicht-normierten Kreuzkorrelation, X(t₁) beziehungsweise X_t1 eine ortsaufgelöste Bildwertverteilung der Bilddaten, X(t₂) beziehungsweise X_t2 eine ortsaufgelöste Bildwertverteilung gemäß dem bereitgestellten Form- und Erscheinungsmodell (10), σ die jeweilige Standardabweichung, E den Erwartungswert und µ den jeweiligen Mittelwert angeben.
Verfahren (15) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Störungsbereich anhand eines vorgegebenen Schwellenwertes, insbesondere für Bildwerte oder für eine Bildwertedifferenz oder für eine Korrelation zwischen den Bilddaten und dem Form- und Erscheinungsmodell (10), bestimmt wird.
Verfahren (15) nach Anspruch 7, dadurch gekennzeichnet, dass der Schwellenwert als Vielfaches einer Varianz eines Rauschniveaus in zum Erzeugen des Form- und Erscheinungsmodells (10) verwendeten Trainingsdaten festgelegt wird.
Verfahren (15) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Störungsbereich automatisch durch einen zweiten trainierten Algorithmus (9) bestimmt wird, der anhand von artefaktbehafteten Trainingsbilddaten darauf trainiert ist, entsprechende Störungsbereiche in Bilddaten zu erkennen.
Bildverarbeitungsvorrichtung (1, 3) zum Segmentieren von Bilddaten, die zumindest ein vorgegebenes Zielobjekt (2) darstellen, umfassend eine Eingangsdatenschnittstelle (4) zum Empfangen der Bilddaten, einen trainierten Algorithmus (8), der darauf trainiert ist, zumindest Objekte von der Art des Zielobjekts (2) in Bilddaten zu segmentieren, einen Datenspeicher (6), in dem ein vorgegebenes Form- und Erscheinungsmodell (10), das auf Objekte von der Art des Zielobjekts (2) trainiert ist, gespeichert ist, und eine Prozessoreinrichtung (5) zum Ausführen des trainierten Algorithmus (8) und zum Anpassen des Form- und Erscheinungsmodells (10), wobei die Bildverarbeitungsvorrichtung (1, 3) dazu eingerichtet ist, das Verfahren (15) nach einem der vorhergehenden Ansprüche zumindest teilautomatisiert auszuführen.
Computerprogrammprodukt (6, 7, 15), umfassend Befehle, die bei ihrer Ausführung durch einen Computer (1, 3), insbesondere durch die Bildverarbeitungsvorrichtung (1, 3) nach dem vorhergehenden Anspruch, diesen dazu veranlassen, das Verfahren (15) nach einem der Ansprüche 1 bis 9 auszuführen.