DE102019118924A1

DE102019118924A1 - Verfahren und Vorrichtung zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren zum Bestimmen von Merkmalen von Strukturauffälligkeiten eines räumlich ausgedehnten Objekts

Info

Publication number: DE102019118924A1
Application number: DE102019118924.1A
Authority: DE
Inventors: Eno Töppe; Claudia Nieuwenhuis
Original assignee: Carl Zeiss Industrielle Messtechnik GmbH
Current assignee: Carl Zeiss Industrielle Messtechnik GmbH
Priority date: 2019-07-12
Filing date: 2019-07-12
Publication date: 2021-01-14

Abstract

Die Erfindung betrifft ein Verfahren (10) zur Generierung von Trainingsdaten (32) für ein maschinelles Lernverfahren (46), das zum Bestimmen von Merkmalen (50) von Strukturauffälligkeiten (34) eines räumlich ausgedehnten Objekts (48) dient. Es werden Daten (42) auf wenigstens einem mindestens dreidimensionalen Gitter (28) mit Gitterpunkten (30) bereitgestellt, indem den Gitterpunkten (30) jeweils Skalare oder Vektoren mit Vektorkomponenten aus der Gruppe umfassend Grauwerte, Farbwerte, Feature-Werte, Filterantworten derart als Gitterpunktwerte zugeordnet werden, dass an wenigstens einem Gitterpunkt (30) eine Gitterpunktwert-Anomalie (36) und an wenigstens einem von dem Gitterpunkt (30) verschiedenen weiteren Gitterpunkt (30) keine Gitterpunktwert-Anomalie (36) vorliegt. Daraufhin werden das Vorliegen einer Gitterpunktwert-Anomalie (36) der Daten (42) an einem Gitterpunkt (30) anzeigenden Anomalie-Annotation (38) für wenigstens einen Teil der Gitterpunkte (30) ermittelt, wobei die Anomalie-Annotationen (38) zu den Gitterpunkten (30) an wenigstens einem Gitterpunkt (30) das Vorliegen einer Gitterpunktwert-Anomalie (36) und an wenigstens einem von dem Gitterpunkt (30) verschiedenen weiteren Gitterpunkt (30) das Nicht-Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigen. Dann wird wenigstens eine Interessenregion (40) in Form einer räumlich zusammenhängenden Menge des wenigstens einen Teils der Gitterpunkte (30) ermittelt, auf der die Anomalie-Annotation (38) an wenigstens einem Gitterpunkt (30) in der Interessenregion (40) das Vorliegen einer Gitterpunktwert-Anomalie (36) und an wenigstens einem von dem Gitterpunkt (30) verschiedenen weiteren Gitterpunkt (30) in der Interessenregion (40) das Nicht-Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigen. Es wird wenigstens eine Kostenfunktion bestimmt, welche Informationen umfassend Gitterpunktwerte und/oder Anomalie-Annotationen (38) in der wenigstens einen Interessenregion 40 und eine das Vorliegen einer Strukturauffälligkeit (34) an einem Gitterpunkt 30 anzeigende Struktur-Annotation (44) für wenigstens einen Teil der Gitterpunkte (30) verknüpft. Es werden Struktur-Annotationen (44) für den wenigstens einen Teil der Gitterpunkte (30) anhand deren

Description

Die Erfindung betrifft ein Verfahren zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren, das zum Bestimmen von Merkmalen von Strukturauffälligkeiten eines räumlich ausgedehnten Objekts dient. Darüber hinaus betrifft die Erfindung ein Computerprogrammprodukt mit einem Computerprogramm mit Programmcode sowie eine Vorrichtung zur Durchführung des Verfahrens.
In industriellen Produktionsszenarien werden zur zerstörungsfreien Qualitätssicherung von räumlich ausgedehnten Objekten zunehmend bildgebende Verfahren wie die Computer Tomographie (CT) eingesetzt. Die Qualität der aufgenommenen Daten der räumlich ausgedehnten Objekte soll möglichst automatisch bewertet werden, ohne das Objekt zu verändern oder zu zerstören. Dabei wird die Qualität anhand von Merkmalen von Strukturauffälligkeiten in den Daten mittels eines computerbasierten Verfahrens festgestellt.
Eine Strukturauffälligkeit enthält eine zusammenhängende Menge von Gitterpunkten, deren Daten eine Auffälligkeit, eine Besonderheit, eine Seltenheit oder einen untypischen Teil des räumlich ausgedehnten Objekts kennzeichnen, z. B. Defekte in einem Bauteil, Krebszellen in einer medizinischen Aufnahme oder seltene Strukturen in einer Halbleiterschicht.
Merkmale einer Strukturauffälligkeit bezeichnen Eigenschaften dieser, die anhand der Daten der Strukturauffälligkeit feststellbar sind, z. B. Beschaffenheitsmerkmale wie die Größe oder Form der Strukturauffälligkeit.
Unter Daten versteht die Erfindung eine Abbildung, welche Gitterpunkte wenigstens eines Gitters auf Gitterpunktwerte abbildet. Ein Gitter kann z. B. in Form eines drei- oder vierdimensionalen Volumens gegeben sein. Ein Gitterpunkt kann beispielweise ein Voxel (volume element), ein Doxel (dynamic vo-5 xel) oder ein resel (resolution element) sein.
Das Verfahren zur Generierung von Trainingsdaten kann beispielsweise bei der Produktion von Bauteilen für Maschinen in der Industrie, z. B. für Fahrzeuge, eingesetzt werden. Es werden CT-Daten der Bauteile während des Produktionsprozesses aufgenommen. Anhand dieser Daten wird das Vorliegen von Strukturauffälligkeiten in Form von Defekten, z. B. Lunkern, Porositäten, Kratzern oder Sandresten überprüft. Auf Basis von Merkmalen der Defekte, z. B. ihrer Größe, Form oder Lage im Objekt und/oder der Art des Defekts, wird dann automatisch entschieden, ob ein Bauteil aussortiert oder wei-5 terverarbeitet wird.
Um die Merkmale der Strukturauffälligkeiten ermitteln zu können, müssen diese zunächst möglichst exakt in den Daten lokalisiert werden. Dies kann anhand eines Segmentierungsverfahrens geschehen. Segmentierungsverfahren sind computerimplementierte Verfahren, die inhaltlich zusammenhängende Regionen durch Zusammenfassung benachbarter Gitterpunkte entsprechend einem bestimmten Homogenitätskriterium erzeugen. Regionen können hier Strukturauffälligkeiten oder Nicht-Strukturauffälligkeiten sein. Es ist auch möglich, mehrere Arten von Strukturauffälligkeiten in den Daten anhand eines Seg-mentierungsverfahrens zu segmentieren.
Zur Segmentierung von Daten werden häufig maschinelle Lernverfahren eingesetzt. Während der Trainingsphase lernt ein solches Verfahren anhand von Trainingsdaten Strukturauffälligkeiten von Nicht-Strukturauffälligkeiten oder verschiedene Arten von Strukturauffälligkeiten zu unterscheiden. In der Inferenzphase generalisiert das maschinelle Lernverfahren das Gelernte auf weitere Daten, die z. B. während des Produktionsprozesses anfallen.
Die Trainingsdaten eines maschinellen Lernverfahrens enthalten eine Vielzahl von Beispielen in Form von Teilmengen der Daten, die meist von einem Fachmann ausgewählt werden. Sie können mit Markierungen versehen werden, die die Zugehörigkeit eines Trainingsdatums zu einer Region anzeigen. Diese Markierungen werden als Annotationen bezeichnet.
Trainingsdaten enthalten also Ausschnitte der Daten, zu denen Annotationen gegeben sein können.
Insbesondere bei der Erkennung von Strukturauffälligkeiten sind große Mengen an Daten für die Generierung von Trainingsdaten erforderlich. Strukturauffälligkeiten kommen nämlich nur selten in den Daten vor und sind oft schwer zu finden. Das maschinelle Lernverfahren muss in der Trainingsphase aber eine ausreichende Anzahl an Beispielen für Strukturauffälligkeiten verarbeiten, um in der Inferenzphase Vorhersagen guter Qualität machen zu können.
Die aufgenommenen drei- oder mehrdimensionalen Daten enthalten deshalb in der Regel mehrere Millionen Gitterpunkte. Darum ist sowohl die Rechenzeit als auch der Speicherplatzbedarf als auch der Zeitaufwand für den Fachmann bei der Generierung von Trainingsdaten und Annotationen sehr hoch. Der Einsatz maschineller Lernverfahren für große Datenmengen ist somit in der Praxis ein sehr aufwendiger Prozess. Hinzu kommt, dass die aktuell leistungsstärksten Segmentierungsverfahren, die sogenannten Deep Learning Verfahren, zwar qualitativ sehr hochwertige Ergebnisse liefern, dafür aber eine besonders große Menge an Trainingsdaten benötigen.
Um maschinelle Lernverfahren in der Qualitätssicherung nutzbar zu machen, werden deshalb Algorithmen zur Generierung von Trainingsdaten benötigt, welche die Auswahl der Trainingsdaten aus den Daten und die Erzeugung von Annotationen dazu soweit wie möglich automatisieren.
Aus der DE 10 2015 114 015 A1 ist ein Verfahren und eine Vorrichtung zur Generierung von Trainingsdaten bekannt. Dort wird das maschinelle Lernverfahren zur Ereignisklassifikation verwendet. Um die Trainingsdaten zu generieren, wird auf jedem Bild eines Bildstapels eine Anomalie-Detektion durchgeführt. Einzelne Bilder mit den detektierten Anomalien werden einem Anwender zur Klassifikation an einem Bildschirm angezeigt. Anhand der klassifizierten Daten wird ein maschinelles Lernverfahren trainiert. Allerdings eignen sich die generierten Trainingsdaten nicht für das Training eines maschinellen Lernverfahrens zur Vermessung von Strukturauffälligkeiten räumlich ausgedehnter Objekte aus den folgenden Gründen:

Das Verfahren der DE 10 2015 114 015 A1 operiert nicht auf dreidimensionalen Datensätzen, sondern auf Sequenzen von 2D-Bildern, sogenannten Bildstapeln. Es wird auf jedem einzelnen Bild des Bildstapels unabhängig voneinander ausgeführt und ist somit nicht zur Detektion räumlich ausgedehnter wenigstens dreidimensionaler Ereignisse geeignet.

Zudem eignen sich die generierten Trainingsdaten nicht für das Training von maschinellen Lernverfahren wie z. B. Segmentierungsverfahren. Diese Verfahren erfordern nämlich Trainingsdaten mit Annotationen an einzelnen Gitterpunkten, wohingegen die von dem Verfahren in der DE 10 2015 114 015 A1 generierten Trainingsdaten lediglich aus vollständigen Bildern mit der zugehörigen Ereignisklasse bestehen. Das in der DE 10 2015 114 015 A1 dargestellte Verfahren erlaubt auch aus Effizienzgründen nicht die Erzeugung von Trainingsdaten mit Annotationen an einzelnen Gitterpunkten, da der Anwender dann jedes einzelne Bild der Kandidatenteilmenge nicht nur klassifizieren, sondern es auch segmentieren müsste. Jeden einzelnen Gitterpunkt von Hand zu annotieren bedeutet jedoch bei wenigstens dreidimensionalen Strukturauffälligkeiten einen zu großen Aufwand für den Anwender.
In dem Artikel „Spatially Varying Color Distributions for Interactive Multilabel Segmentation“, Nieuwenhuis und Cremers, TPAMI, 2013" ist ein Verfahren zur interaktiven Segmentierung von 2D-Bildern beschrieben, das anhand von Anwendermarkierungen eine Kostenfunktion ermittelt, mit der das Bild in Regionen zerlegt wird. Eine Anomalie-Detektion oder eine Generierung von Trainingsdaten für ein maschinelles Lernverfahren erfolgt hier jedoch nicht.
Aus der US 2005/163278 A1 ist ein Verfahren zur Anomaliedetektion mit dem Ziel der Erkennung von Krankheiten in CT-Daten kombiniert mit Röntgenaufnahmen bekannt, das in einem ersten Schritt „Regions of Interest“ (ROI) bestimmt und diese anhand von Features und eines bereits trainierten maschinellen Lernverfahrens als Anomalie oder „nicht-Anomalie“ klassifiziert. Ziel des Verfahrens ist allerdings nicht die Generierung von Trainings-Daten oder das Vermessen der detektierten Anomalien. Auch die Vorstufe der Detektion von Auffälligkeiten in den Daten, sowie die gitterpunktweise Segmentierung der ROIs ist nicht offenbart.
Die WO 2016 038604 A1 beschreibt einen Workflow zur interaktiven Segmentierung von medizinischen 3D-Bilddaten, der zuerst eine gitterpunktweise Segmentierung der Daten automatisch durchführt, diese dann durch einen Anwender korrigieren lässt und schließlich Merkmale der segmentierten Regionen berechnet. Die Vorstufe der Anomalie-Detektion, die Definition von Interessenregionen sowie die Generierung von Trainingsdaten für ein maschinelles Lernverfahren sind hier aber nicht offenbart. Zudem sind Nutzereingaben unverzichtbar.
Aufgabe der Erfindung ist es deshalb, mit geringem Aufwand Trainingsdaten hoher Qualität für ein maschinelles Lernverfahren zu generieren, das Merkmale von Strukturauffälligkeiten räumlich ausgedehnter Objekte bestimmen kann.
Ein geringer Aufwand bedeutet, dass die für die Generierung der Trainingsdaten benötigte Zeit, der Speicherplatz und/oder die Menge der Trainingsdaten möglichst gering sind. Trainingsdaten für ein maschinelles Lernverfahren sind von hoher Qualität, wenn das anhand dieser trainierte maschinelle Lernverfahren eine hohe Genauigkeit aufweist. Eine hohe Genauigkeit eines maschinellen Lernverfahrens liegt dann vor, wenn die von diesem während der Inferenzphase getroffenen Vorhersagen möglichst geringe Fehler aufweisen.
Diese Aufgabe wird durch das in Anspruch 1 angegebene Verfahren gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
Bei dem in Anspruch 1 angegebenen Verfahren zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren, das zur Bestimmung von Merkmalen von Strukturauffälligkeiten räumlich ausgedehnter Objekte dient, werden in einem ersten Schritt Daten auf wenigstens einem mindestens dreidimensionalen Gitter mit Gitterpunkten bereitgestellt. Dabei werden den Gitterpunkten jeweils Skalare oder Vektoren mit Vektorkomponenten aus der Gruppe umfassend Grauwerte, Farbwerte, Feature-Werte, Filterantworten als Gitterpunktwerte derart zugeordnet, dass an wenigstens einem Gitterpunkt eine Gitterpunktwert-Anomalie und an wenigstens einem von dem Gitterpunkt verschiedenen weiteren Gitterpunkt keine Gitterpunktwert-Anomalie vorliegen.
Das wenigstens eine mindestens dreidimensionale Gitter mit den Gitterpunktwerten der Daten kann anhand eines bildgebenden Verfahrens, z. B. eines Computertomographen, erzeugt werden. Dafür können Daten von einem oder von verschiedenen Exemplaren des gleichen räumlich ausgedehnten Objekts aufgenommen werden. Es sind auch Daten auf vier- oder mehrdimensionalen Gittern denkbar, z. B. durch Aufnahme einer Sequenz von Daten eines Exemplars eines dreidimensionalen, räumlich ausgedehnten Objekts, das sich z. B. über die Zeit verändert.
Das wenigstens eine Gitter, auf dem die Daten definiert sind, enthält Gitterpunkte, deren Position in dem wenigstens einen Gitter anhand eines Koordinatensystems mit Koordinatenachsen festgelegt ist.
Als Gitterpunktwerte können direkt die von dem bildgebenden Verfahren generierten Werte, z. B. Intensitäts- oder Farbwerte, verwendet werden. Alternativ können als Gitterpunktwerte auch Filterantworten verwendet werden. Diese werden durch eine Vorverarbeitung der ursprünglich generierten Daten ermittelt, z. B. anhand von Glättungsfiltern, Kanten-Detektions-Filtern oder Garborfiltern. Alternativ können Gitterpunktwerte auch aus Feature-Vektoren bestehen. Diese werden anhand eines Algorithmus auf den ursprünglich generierten Daten berechnet, z. B. Histogram of Gradient Features oder SIFT-Features. Auch Kombinationen von Gitterpunktwerten sind denkbar. Eine Vorverarbeitung und/oder eine Kombination von Gitterpunktwerten hat den Vorteil, dass die Aufgabe des maschinellen Lernverfahrens vereinfacht wird. Dadurch ist eine geringere Menge an Trainingsdaten für das Training notwendig. Auch die Komplexität des maschinellen Lernverfahrens, z. B. die Anzahl der Schichten, ist geringer, was Rechenzeit und Speicherplatz einspart.
Damit die Trainingsdaten für das Training geeignet sind, muss darin und somit auch in den Daten zumindest eine Strukturauffälligkeit vorliegen. Da es sich dabei um besondere Strukturen in den Daten handelt, enthalten Strukturauffälligkeiten Gitterpunktwert-Anomalien.
Eine Anomalie bezeichnet eine Abweichung von der Regel. Eine Gitterpunktwert-Anomalie bezeichnet Gitterpunktwerte, die in wenigstens einer Eigenschaft, z. B. der Intensität, der Farbe, des Musters oder des Ortes, von den an dieser Stelle in den Daten zu erwartenden Gitterpunktwerten abweichen. Die Erwartung kann z. B. anhand von weiteren Gitterpunkten in den Daten, z. B. Statistiken oder Mustern der in der Nähe liegenden Gitterpunkte, oder anhand von Kenntnissen über die typische Beschaffenheit des räumlich ausgedehnten Objekts an dieser Stelle zustande kommen.
Strukturauffälligkeiten kommen eher selten in den Daten vor. Um Rechenzeit und Aufwand für den Anwender bei der Suche einzusparen, werden die Daten deshalb anhand eines Verfahrens zur Detektion von Gitterpunktwert-Anomalien vorverarbeitet. Dieses erlaubt das Ermitteln von Regionen in den Daten, die Gitterpunktwert-Anomalien und somit potenziell eine Strukturauffälligkeit enthalten. In den weiteren Verfahrensschritten kann die Suche nach Strukturauffälligkeiten dann auf diese Regionen beschränkt werden.
In einem zweiten Schritt des Verfahrens zur Generierung von Trainingsdaten wird deshalb eine das Vorliegen einer Gitterpunktwert-Anomalie der Daten an einem Gitterpunkt anzeigenden Anomalie-Annotation für wenigstens einen Teil der Gitterpunkte ermittelt. Dabei zeigen die Anomalie-Annotationen zu den Gitterpunkten an wenigstens einem Gitterpunkt das Vorliegen einer Gitterpunktwert-Anomalie und an wenigstens einem von dem Gitterpunkt verschiedenen weiteren Gitterpunkt das Nicht-Vorliegen einer Gitterpunktwert-Anomalie an.
Eine Annotation ist eine Abbildung, die einem Gitterpunkt anhand dessen Gitterpunktwert und gegebenenfalls anhand von zusätzlichen Informationen einen Wert zuordnet, der das Vorliegen einer Eigenschaft an diesem Gitterpunkt anzeigt. Dieser Wert kann z. B. ein Binärwert aus der Menge {0,1} oder ein kontinuierlicher Wert aus dem Intervall [0,1], der die Wahrscheinlichkeit für das Vorliegen der Eigenschaft wiederspiegelt, sein. Auch andere Werte sind denkbar.
Kontinuierliche Wertebereiche tragen Unsicherheiten bei der Generierung von Annotationen Rechnung. Anhand dieser Zusatzinformation kann die Qualität der generierten Trainingsdaten verbessert werden.
Zu einem Gitterpunkt können auch mehrere Annotationen gegeben sein, die jeweils das Vorliegen einer speziellen Eigenschaft an diesem Gitterpunkt anzeigen, z. B. das Vorliegen einer Art von Defekt in einem Bauteil.
Eine Anomalie-Annotation bezeichnet eine Abbildung, die jedem Gitterpunkt einen Wert zuordnet, der das Vorliegen bzw. das Nicht-Vorliegen einer Gitterpunktwert-Anomalie anzeigt.
Zur Detektion von Anomalien in den Daten können Anomalie-Detektions-Verfahren genutzt werden. Dafür eigenen sich insbesondere auch maschinelle Lernverfahren. Um den Aufwand für das Training dieser Verfahren möglichst gering zu halten, ist es von Vorteil, unüberwachte maschinelle Lernverfahren zu verwenden. Diese lernen selbstständig anhand von Beispielen, die nicht vorher von einem Fachmann annotiert werden müssen. Als unüberwachte Anomalie-Detektions-Verfahren eignen sich z. B. Verfahren, deren Trainingsdaten lediglich aus Beispielen für eine Klasse ohne Annotationen bestehen und die in der Inferenzphase einen Abstand der Daten zu dieser Klasse angeben, z. B. One Class Support Vector Machines (SVM), wie sie in dem Artikel „Data Domain Description by Support Vectors, D.M.J. Tax, R.P.W Duin, Proceedings ESANN, 1999, S. 251 - 256" beschrieben sind, auf den hiermit vollumfänglich Bezug genommen und dessen Offenbarung in die Beschreibung dieser Erfindung einbezogen wird.
Alternativ können zur Anomalie-Detektion auch Autoencoder verwendet werden, wie sie z. B. in dem Buch „Deep Learning, von lan Goodfellow, Yoshua Bengio und Aaron Courville, MIT Press, 2017, Kapitel 14“ beschrieben sind, auf das hiermit vollumfänglich Bezug genommen und dessen Offenbarung in die Beschreibung dieser Erfindung einbezogen wird.
Der Schritt des Bestimmens von Anomalie-Annotationen hat den Vorteil, dass schnell und automatisch Regionen, die potenziell Strukturauffälligkeiten enthalten, gefunden und weiterverarbeitet werden können. Gleichzeitig können Gitterpunkte, deren Anomalie-Annotation das Nicht-Vorliegen einer Anomalie anzeigt, beispielsweise in den weiteren Verfahrensschritten unberücksichtigt bleiben. Durch diese Maßnahme wird der Aufwand für die Generierung von Trainingsdaten deutlich verringert, da Rechenzeit und - im Falle der Mitwirkung eines Anwenders an dem Verfahren - auch die Arbeitszeit des Anwenders, der seine Annotationen auf die Interessenregionen beschränken kann, eingespart werden.
In einem weiteren Schritt des Verfahrens wird deshalb wenigstens eine Interessenregion in Form einer räumlich zusammenhängenden Menge des wenigstens einen Teils der Gitterpunkte bestimmt, auf der die Anomalie-Annotation an wenigstens einem Gitterpunkt in der Interessenregion das Vorliegen einer Gitterpunktwert-Anomalie und an wenigstens einem von dem Gitterpunkt verschiedenen weiteren Gitterpunkt in der Interessenregion das Nicht-Vorliegen einer Gitterpunktwert-Anomalie anzeigt.
Betrachtet man das Gitter als Graphen, die Gitterpunkte als Knoten und die Verbindungen zwischen den Gitterpunkten als kennzeichnend für eine Nachbarschaft der angrenzenden Knoten, so ist eine zusammenhängende Menge von Gitterpunkten als Zusammenhangskomponente dieses Graphen definiert. Eine Zusammenhangskomponente eines Graphen ist dabei eine maximale Menge von Knoten, sodass zwischen je zwei der Knoten ein Pfad innerhalb der Zusammenhangskomponente existiert. Eine Strukturauffälligkeit bezeichnet somit eine Zusammenhangskomponente in dem Graphen, der nur Gitterpunkte mit Daten, die das Vorliegen einer Gitterpunktwert-Anomalie kennzeichnen, enthält.
Interessenregionen können verschiedene Formen haben. Sie können automatisch oder manuell bestimmt werden.
Zur manuellen Bestimmung kann z. B. einem Anwender das Gitter mit Anomalie-Annotationen an einem Bildschirm zur Anzeige gebracht werden. Der Anwender kann dann die Interessenregion anhand einer Bounding Box, welche die zusammenhängende Menge von Gitterpunkten mit Anomalie-Annotationen, die das Vorliegen einer Gitterpunktwert-Anomalie anzeigen, umschließt, mit einem Markierungswerkzeug markieren.
Alternativ können Interessenregionen automatisch anhand der Anomalie-Annotationen berechnet werden.
Falls die Anomalie-Annotationen als kontinuierlicher Wert vorliegen, kann ein Schwellwert bestimmt werden, z. B. mittels eines Quantils über die Anomalie-Annotationen in den Daten oder von einem Anwender, anhand dessen die Anomalie-Annotationen auf zwei Werte abgebildet werden: einen Wert, der kennzeichnet, dass eine Gitterpunktwert-Anomalie vorliegt und einen Wert, der kennzeichnet, dass keine Gitterpunktwert-Anomalie vorliegt. Für jede zusammenhängende Menge von Gitterpunkten, deren Anomalie-Annotationen sie als Gitterpunktwert-Anomalie kennzeichnen, wird dann eine Interessenregion bestimmt, welche diese Menge von Gitterpunkten enthält. Die Grenzen der Interessenregion können z. B. durch Eckpunkte bestimmt sein, wobei jeder Eckpunkt durch eine maximale oder minimale Koordinate aller Gitterpunkte dieser zusammenhängenden Menge von Gitterpunkten entlang der jeweiligen Koordinatenachse des Koordinatensystems des wenigstens einen Gitters definiert ist.
Die Definition von Interessenregionen ist vorteilhaft für eine hohe Qualität der Trainingsdaten. Für ein erfolgreiches Training eines maschinellen Lernverfahrens sind nämlich oft besonders nahe beieinander liegende Gitterpunkte, die aber unterschiedlichen Regionen angehören, wichtig. Diese weisen nämlich oft aufgrund ihrer örtlichen Nähe große Ähnlichkeiten auf, sodass eine Unterscheidung für das maschinelle Lernverfahren besonders schwierig ist.
Die Definition von Interessenregionen ist auch vorteilhaft aufgrund eines geringeren Speicherplatzbedarfs. Denn die Detektion von Strukturauffälligkeiten kann in den folgenden Schritten auf die Interessenregionen beschränkt werden, sodass nur diese in dem Speicher der Recheneinheit gehalten werden müssen.
Bei der Definition der Interessenregionen kann es von Vorteil sein, dass die wenigstens eine Interessenregion dieselbe räumliche Dimension wie die des wenigstens einen Gitters der Daten aufweist. Die Qualität der Trainingsdaten für die Erkennung mindestens dreidimensionaler Strukturauffälligkeiten ist nämlich höher, wenn die Trainingsdaten die räumliche Struktur der Strukturauffälligkeiten abbilden und nicht lediglich auf Ausschnitte in Form von 2D-Schnitten durch die Strukturauffälligkeiten beschränkt sind.
Weiterhin ist es vorteilhaft, wenn die wenigstens eine Interessenregion so ausgewählt wird, dass die Anomalie-Annotation von wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte das Vorliegen einer Gitterpunktwert-Anomalie anzeigt und von wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte darin das Nicht-Vorliegen einer Gitterpunktwert-Anomalie anzeigt. Dadurch wird gewährleistet, dass für die Bestimmung der Kostenfunktion genügend Gitterpunkte, deren Anomalie-Annotation diese als Gitterpunktwert-Anomalie kennzeichnen, und gleichzeitig genügend Gitterpunktwerte, deren Anomalie-Annotationen diese als keine Gitterpunktwert-Anomalie kennzeichnen, vorliegen. Die in dem nächsten Schritt ermittelte Kostenfunktion ist dadurch besser in der Lage, zwischen Strukturauffälligkeiten und Nicht-Strukturauffälligkeiten zu unterscheiden. Dies führt zu einer höheren Qualität der Trainingsdaten und zu einer geringeren Rechenzeit.
Da jede Interessenregion wenigstens einen Gitterpunkt enthält, der als Gitterpunktwert-Anomalie gekennzeichnet ist und wenigstens einen Gitterpunkt, der nicht als Gitterpunktwert-Anomalie gekennzeichnet ist, kann anhand der Gitterpunkte und zugehörigen Gitterpunktwerte in der Interessenregion und gegebenenfalls zusätzlicher Annahmen eine Kostenfunktion in einem nächsten Verfahrensschritt bestimmt werden.
Diese Kostenfunktion verknüpft Informationen umfassend Gitterpunktwerte und/oder Anomalie-Annotationen in der wenigstens einen Interessenregion und eine das Vorliegen einer Strukturauffälligkeit an einem Gitterpunkt anzeigende Struktur-Annotation für wenigstens einen Teil der Gitterpunkte.
Von Vorteil für die Qualität der Trainingsdaten und für die Verringerung des Aufwands zur Generierung der Trainingsdaten ist es dabei, wenn die wenigstens eine Kostenfunktion anhand von Abständen von Gitterpunkten bestimmt wird, oder wenn es sich bei der wenigstens einen Kostenfunktion um ein maschinelles Lernverfahren, eine Statistik und/oder einen Wertevergleich handeln, oder wenn die Kostenfunktion Annahmen und/oder Nebenbedingungen betreffend die Beschaffenheit der Strukturauffälligkeiten aus der Gruppe umfassend Größe, Ort, Volumen, Fläche, Oberfläche, Durchmesser, Umfang, Form, Anzahl, Art, Konfiguration, Schwerpunkt, Kompaktheit, Abstand, Verteilung, Dichte, Gitterpunktwertverteilung, Momente von Gitterpunktwertverteilungen beinhalten.
Die Kostenfunktion kann beispielsweise mittels Statistiken oder Wahrscheinlichkeitsdichten oder -verteilungen basierend auf Gitterpunkten mit Gitterpunktwerten und Annotationen, sogenannten Samples, ermittelt werden. Anhand einer ersten Menge von Samples kann dabei eine Wahrscheinlichkeitsdichte über Gitterpunktwerte bei Vorliegen einer Strukturauffälligkeit geschätzt werden. Anhand einer zweiten Menge von Samples kann z. B. eine Wahrscheinlichkeitsdichte über Gitterpunktwerte bei Nicht-Vorliegen einer Strukturauffälligkeit geschätzt werden. Die Wahrscheinlichkeitsdichten können dabei z. B. anhand eines Dichteschätzers wie dem Parzen-Dichte-Schätzer geschätzt werden.
Als Gitterpunktwerte eignen sich dabei insbesondere Features, die auf das Vorliegen bestimmter Charakteristika an Gitterpunkten hindeuten, z. B. auf das Vorliegen spezieller Muster in Form von Frequenzen, Kanten, Ecken oder Richtungen dieser. Auch der Ort des Gitterpunkts im Gitter oder relativ zu anderen Gitterpunkten kann aufschlussreich sein.
Alternativ zur Berechnung von Wahrscheinlichkeitsdichten oder Statistiken kann anhand der Samples auch ein maschinelles Lernverfahren trainiert werden, das die Wahrscheinlichkeit eines Gitterpunkts dafür bestimmt, dass er zu einer Strukturauffälligkeit gehört.
Die wenigstens eine Kostenfunktion kann automatisch oder anhand von Anwendereingaben bestimmt werden.
Die wenigstens eine Kostenfunktion kann unter Verwendung von Anwendereingaben bestimmt werden, wobei ein Anwender über eine Anwenderschnittstelle Gitterpunkte der wenigstens einen Interessenregion, deren Daten und/oder Anomalie-Annotationen an einem Bildschirm zur Anzeige gebracht werden, das Vorliegen einer Strukturauffälligkeit oder das Nicht-Vorliegen einer Strukturauffälligkeit markiert. Dafür markiert der Anwender mit einem Markierungswerkzeug eine erste und eine zweite Menge von Samples, aus denen dann die Wahrscheinlichkeitsdichten wie zuvor beschrieben geschätzt werden. Diese Wahrscheinlichkeitsdichten können dann zur Definition der wenigstens einen Kostenfunktion herangezogen werden.
Durch die Interaktion mit einem Anwender kann sowohl eine höhere Qualität der generierten Trainingsdaten erreicht als auch der Aufwand für die Generierung der Trainingsdaten minimiert werden. Der Anwender kann nämlich gezielt Samples auswählen, denen von dem Verfahren fehlerhafte Struktur-Annotationen zugeordnet werden. Auf diese Weise wird die Anzahl der Samples und damit die Komplexität der Kostenfunktion und dadurch die Rechenzeit minimiert.
Es ist von Vorteil für die Einsparung von Rechenzeit und Aufwand für den Anwender, wenn die wenigstens eine Kostenfunktion automatisch bestimmt wird.
Die Kostenfunktion kann dafür anhand von Gitterpunktwerten an wenigstens einem Gitterpunkt aus einer ersten Gruppe von Gitterpunkten, die innerhalb der wenigstens einen Interessenregion liegen und deren Anomalie-Annotation das Vorliegen einer Gitterpunktwert-Anomalie anzeigt - der ersten Menge von Samples - und anhand von Gitterpunktwerten an wenigstens einem Gitterpunkt aus einer zweiten Gruppe von Gitterpunkten, die innerhalb der wenigstens einen Interessenregion liegen und deren Anomalie-Annotation das Nicht-Vorliegen einer Gitterpunktwert-Anomalie anzeigt - der zweiten Menge von Samples - und/oder anhand von Abständen von Gitterpunkten innerhalb der Interessenregionen zu der ersten und/oder zweiten Menge von Samples bestimmt werden.
Hierbei können insbesondere die Gitterpunkte als Samples gewählt werden, die das Vorliegen bzw. das Nicht-Vorliegen einer Gitterpunktwert-Anomalie mit besonders großer Sicherheit anzeigen, z. B. mit einem Wert nahe 1 bzw. nahe 0 bei einer Anomalie-Annotation im Wertebereich [0,1]. Dies erhöht die Qualität der generierten Trainingsdaten für das maschinelle Lernverfahren.
Es können weitere Annahmen in die wenigstens eine Kostenfunktion einfließen, um die Qualität der generierten Trainingsdaten zu erhöhen und gleichzeitig den Aufwand für die Generierung der Trainingsdaten zu minimieren, z. B. Abstände der Gitterpunkte von den Samples. Je weiter ein Gitterpunkt von einem Sample der ersten oder zweiten Menge entfernt ist, umso ungenauer ist die Vorhersage der geschätzten Wahrscheinlichkeitsdichte über den Gitterpunktwert an diesem Gitterpunkt. Von Vorteil ist deshalb die Gewichtung der Samples bei der Berechnung der Verteilung der Gitterpunktwerte, denn oft weisen Strukturauffälligkeiten in verschiedenen, insbesondere weit voneinander entfernten Interessenregionen, kaum Ähnlichkeiten auf. Es kann deshalb von Vorteil für die Qualität der Trainingsdaten und zur Verringerung des Aufwands des Verfahrens sein, wenn die Samples aus weit entfernten Interessenregionen eine geringere Gewichtung aufweisen. In Abhängigkeit von den Daten kann es auch sinnvoll sein, alle Samples gleich zu gewichten, z. B. wenn auch weit voneinander entfernte Strukturauffälligkeiten in dem Datensatz große Ähnlichkeit aufweisen.
Zusätzlich oder alternativ können Annahmen über die Form der Strukturauffälligkeiten selbst in die wenigstens eine Kostenfunktion einfließen, z. B. die Annahme einer Kompaktheit der Strukturauffälligkeiten, einer bestimmten Form oder der Größe der Strukturauffälligkeiten, oder Annahmen darüber, dass erwartungsgemäß nahe beieinander liegende bzw. benachbarte Gitterpunkte die gleiche Struktur-Annotation aufweisen. Dadurch kann eine höhere Qualität der Trainingsdaten erreicht werden.
Es kann außerdem vorteilhaft sein, wenigstens zwei unterschiedliche Kostenfunktionen, z. B. eine für jede Interessenregion, zu bestimmen. Dadurch kann die Qualität der generierten Trainingsdaten für das maschinelle Lernverfahren erhöht werden, da die Kostenfunktionen besser an die Daten angepasst sind. Außerdem kann der Aufwand für die Generierung der Trainingsdaten reduziert werden, da sich die Strukturauffälligkeiten in unterschiedlichen Interessenregionen deutlich voneinander unterscheiden können und somit nicht oder nur mit viel Aufwand, z. B. mit vielen Markierungen eines Anwenders, anhand einer einzigen Kostenfunktion segmentierbar sind.
In dem nächsten Schritt des Verfahrens werden Struktur-Annotationen für den wenigstens einen Teil der Gitterpunkte anhand von deren Gitterpunktwerten und/oder Anomalie-Annotationen durch Optimieren der Kostenfunktion berechnet. Der wenigstens eine Teil der Gitterpunkte, auf dem die Struktur-Annotationen berechnet werden, kann dabei nur einen Teil der Gitterpunkte oder das gesamte wenigstens eine Gitter umfassen.
Abhängig von der Art der Strukturauffälligkeiten, die in den Daten detektiert werden sollen, kann es vorteilhaft sein, mehrere Arten von Struktur-Annotationen für einen Gitterpunkt zu berechnen. So kann z. B. nicht nur zwischen Strukturauffälligkeit und Nicht-Strukturauffälligkeit unterschieden werden, sondern auch zwischen verschiedenen Arten von Strukturauffälligkeiten. Soll nur zwischen Gitterpunkten unterschieden werden, die zu einer Strukturauffälligkeit gehören, und Gitterpunkten, die zu keiner Strukturauffälligkeit gehören, so genügt eine Art von Struktur-Annotation. Diese kann z. B. anhand einer Kostenfunktion in Form eines Zwei-Klassen-Segmentierungsproblems berechnet werden.
Sollen beispielsweise n verschiedene Arten von Strukturauffälligkeiten detektiert werden, so kann für jede Art von Strukturauffälligkeit eine separate Struktur-Annotation pro Gitterpunkt berechnet werden, die für jeden Gitterpunkt anzeigt, ob diese spezielle Art von Strukturauffälligkeit vorliegt oder nicht. Eine Menge von n Struktur-Annotationen kann z. B. anhand einer Kostenfunktion in Form eines Segmentierungsproblems für n Klassen berechnet werden, wie z. B. für 2D-Bilder in dem Artikel „Spatially Varying Color Distributions for Interactive Multilabel Segmentation, Claudia Nieuwenhuis, Daniel Cremers, Transactions on Pattern Analysis and Machine Intelligence, Band 35, 2013" dargestellt, auf den hiermit vollumfänglich Bezug genommen und dessen Offenbarung in die Beschreibung dieser Erfindung einbezogen wird.
Alternativ kann in dem Fall, dass n verschiedene Strukturauffälligkeiten detektiert werden sollen, auch nur eine Struktur-Annotation für jeden Gitterpunkt berechnet werden. Diese Struktur-Annotation zeigt dann allgemein das Vorliegen oder Nicht-Vorliegen einer Strukturauffälligkeit an. Die Art der Strukturauffälligkeit kann dann von dem Verfahren, das die Merkmale der anhand des trainierten maschinellen Lernverfahrens detektierten Strukturauffälligkeiten ermittelt, als ein Merkmal, z. B. als Strukturauffälligkeits-Typ, bestimmt werden. Dabei kann das Verfahren insbesondere Beschaffenheitsmerkmale der detektierten Strukturauffälligkeiten, z. B. deren Form oder Größe, nutzen, um auf den Strukturauffälligkeits-Typ zu schließen.
Eine Erkenntnis der Erfindung ist insbesondere, dass der Aufwand zur Generierung von Trainingsdaten besonders gering ist, wenn in dem Schritt des Berechnens der Struktur-Annotationen für wenigstens einen Teil der Gitterpunkte diese Struktur-Annotationen in der wenigstens einen Interessenregion berechnet werden. Dieser wenigstens eine Teil der Gitterpunkte ist also in der wenigstens einen Interessenregion enthalten. Zusätzlich oder alternativ können auch die Struktur-Annotationen derjenigen Gitterpunkte, die nicht zu der wenigstens einen Interessenregion gehören, automatisch so gewählt werden, dass sie das Nicht-Vorliegen einer Strukturauffälligkeit anzeigen. Durch beide Maßnahmen verringert sich die Rechenzeit für das Verfahren deutlich, da die Kostenfunktion nicht auf allen Gitterpunkten, sondern nur auf denen der wenigstens einen Interessenregion optimiert werden muss.
Um die Qualität der generierten Trainingsdaten zu verbessern und gleichzeitig den Aufwand für die Generierung der Trainingsdaten zu minimieren, können die Schritte des Bestimmens der wenigstens einen Kostenfunktion und des Berechnens der Struktur-Annotationen iteriert werden. Dabei wird die wenigstens eine Kostenfunktion bei jeder Iteration anhand der berechneten Struktur-Annotationen angepasst.
Wird die Kostenfunktion anhand von Anwendereingaben bestimmt, so können dem Anwender nach jeder Iteration die berechneten Struktur-Annotationen zur Anzeige gebracht werden. Dieser kann fehlerhafte Struktur-Annotationen des Algorithmus korrigieren, indem er mit einem Markierungswerkzeug Markierungen von Strukturauffälligkeiten oder Nicht-Strukturauffälligkeiten hinzufügt. Nach jeder neuen Markierung können die Kostenfunktion und die Struktur-Annotationen anhand der erweiterten Menge von Samples und der Struktur-Annotationen des Anwenders neu berechnet werden. Dabei ist es vorteilhaft für eine hohe Qualität der Trainingsdaten, Markierungen des Anwenders als harte Nebenbedingung zu der Kostenfunktion hinzuzufügen, damit den von dem Anwender markierten Gitterpunkten die gewünschten Struktur-Annotationen während der Optimierung der Kostenfunktion zugewiesen werden. Von Vorteil ist es auch, wenn die Rechenzeit für das Neuberechnen der Kostenfunktion und der Struktur-Annotationen möglichst gering ist, damit der Anwender direkt die Auswirkungen seiner Korrekturen auf die Struktur-Annotationen sehen kann.
Auch bei einer automatischen Bestimmung der Kostenfunktion kann es vorteilhaft sein, die Schritte der Bestimmung der Kostenfunktion und des Berechnens von Struktur-Annotationen zu iterieren. Es führt nämlich zu einer höheren Qualität der generierten Trainingsdaten, wenn die wenigstens eine Kostenfunktion automatisch anhand von Gitterpunktwerten der Daten und/oder Anomalie-Annotationen an wenigstens einem Gitterpunkt aus einer Gruppe von Gitterpunkten, die innerhalb der wenigstens einen Interessenregion liegen und deren Struktur-Annotation das Vorliegen einer Strukturauffälligkeit anzeigt, und anhand von Gitterpunktwerten der Daten und/oder Anomalie-Annotationen an wenigstens einem Gitterpunkt aus einer zweiten Gruppe von Gitterpunkten, die innerhalb der wenigstens einen Interessenregion liegen und deren Struktur-Annotation das Nicht-Vorliegen einer Strukturauffälligkeit anzeigt, und/oder anhand von Abständen von Gitterpunkten innerhalb der Interessenregion zu der ersten und/oder zweiten Gruppe bestimmt wird.
Für eine weitere Verbesserung der Qualität der Trainingsdaten kann die erste Gruppe von Gitterpunkten auch auf diejenigen Gitterpunkte innerhalb der wenigstens einen Interessenregion eingeschränkt werden, deren Anomalie-Annotation das Vorliegen einer Gitterpunktwert-Anomalie und deren Struktur-Annotation das Vorliegen einer Strukturauffälligkeit anzeigen. Die zweite Gruppte von Gitterpunkten kann auf diejenigen Gitterpunkte eingeschränkt werden, deren Anomalie-Annotation das Nicht-Vorliegen einer Gitterpunktwert-Anomalie und deren Struktur-Annotation das Nicht-Vorliegen einer Strukturauffälligkeit anzeigen.
In einem letzten Schritt des Verfahrens werden aus den Daten Trainingsdaten für das maschinelle Lernverfahren in Form von wenigstens einem Teil der Daten mit Annotationen aus der Menge umfassend Struktur-Annotationen und Anomalie-Annotationen ausgewählt. Die Trainingsdaten enthalten Teilmengen der Daten oder auch die gesamten Daten zusammen mit Annotationen. Die Annotationen können Struktur-Annotationen, Anomalie-Annotationen oder eine Kombination aus beiden sowie Kombinationen mehrerer verschiedener Struktur-Annotationen enthalten. Auch Relevanz-Annotationen und/oder Referenzdaten können zu den Trainingsdaten dazugehören.
Hierbei ist es von Vorteil, nur eine Teilmenge der Daten mit Annotationen als Trainingsdaten zu verwenden, da der Anteil der Strukturauffälligkeiten in den Daten meist sehr viel geringer ist als der Anteil der Daten ohne Strukturauffälligkeiten. Um die Genauigkeit des anhand der Trainingsdaten trainierten maschinellen Lernverfahrens zu verbessern, ist es vorteilhaft, dass in dem Schritt des Auswählens wenigstens eines Teils der Daten mit Struktur-Annotationen als Trainingsdaten für das maschinelle Lernverfahren die Struktur-Annotationen wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte darin das Vorliegen einer Strukturauffälligkeit und wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte darin das Nicht-Vorliegen einer Strukturauffälligkeit anzeigen. Besonders vorteilhaft ist es, wenn der Anteil der mit einer das Vorliegen einer Strukturauffälligkeit anzeigenden Struktur-Annotation gekennzeichneten Daten in den Trainingsdaten ungefähr 50% beträgt. Durch eine so geartete Auswahl der Trainingsdaten wird die Qualität der generierten Trainingsdaten für das maschinelle Lernverfahren verbessert, die Menge der Trainingsdaten gering gehalten, Speicherplatz für die Trainingsdaten eingespart und gleichzeitig der Aufwand für die Generierung der Trainingsdaten minimiert.
Ein Vorteil des Verfahrens zur Generierung von Trainingsdaten ist der minimale Aufwand in Form von geringer Rechenzeit und geringem Arbeitsaufwand für einen Anwender. Anhand der automatischen Anomalie-Detektion können die Daten auf Ausschnitte mit dort potenziell vorliegenden Strukturauffälligkeiten reduziert werden, sodass nur diese Ausschnitte bei der Bestimmung der Kostenfunktion, der Ermittlung von Struktur-Annotationen und der Auswahl geeigneter Trainingsdaten berücksichtigt werden müssen. Auf diese Weise können große Mengen an Daten schnell analysiert und eine passende Menge von Trainingsdaten für das maschinelle Lernverfahren ausgewählt werden.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass in einem zusätzlichen Verfahrensschritt Relevanz-Annotationen für wenigstens einen Teil der Gitterpunkte ermittelt werden, welche die Relevanz der Daten für das maschinelle Lernverfahren anzeigen.
Eine Relevanz-Annotation ist eine Abbildung, die einen Gitterpunkt auf einen Wert abbildet, der den Grad der Relevanz des Gitterpunkts bei der Auswahl der Trainingsdaten angibt. Anhand der Relevanz-Annotationen können Bereiche des räumlich ausgedehnten Objekts von der Auswahl der Trainingsdaten ausgeschlossen werden, z. B. weil in diesen Bereichen keine Qualitätsprüfung stattfindet, indem sie als irrelevant gekennzeichnet werden. Oder es können Bereiche als besonders wichtig für das Training markiert werden, z. B. wenn das Auftreten von Strukturauffälligkeiten in diesen Bereichen besonders problematisch ist. Dadurch kann die Qualität der Trainingsdaten verbessert und gleichzeitig die Rechenzeit verringert werden.
Die Relevanz-Annotationen können anhand eines maschinellen Lernverfahrens und/oder anhand eines Modells des räumlich ausgedehnten Objekts, insbesondere eines CAD-Modells des Objekts, und/oder durch Markierungen eines Anwenders anhand einer Anwenderschnittstelle ermittelt werden. Das maschinelle Lernverfahren zur Erzeugung von Relevanz-Annotationen kann z. B. anhand einer Vielzahl räumlich ausgerichteter Datensätze des räumlich ausgedehnten Objekts lernen, an welchen Orten Strukturauffälligkeiten besonders häufig vorkommen. Hier ist auch die Verwendung einfacher statistischer Verfahren denkbar, die für jeden Gitterpunkt eine Statistik über die Auftretenswahrscheinlichkeit von Strukturauffälligkeiten berechnen. Räumlich ausgerichtete Datensätze bezeichnen dabei Datensätze, die im gleichen Koordinatensystem vorliegen, sodass sich entsprechende Gitterpunkte in den Datensätzen jeweils an der gleichen Stelle des räumlich ausgedehnten Objekts befinden. Alternativ zu maschinellen Lernverfahren oder statistischen Verfahren können Relevanz-Annotationen auch anhand eines Modells des räumlich ausgedehnten Objekts, z. B. eines CAD-Modells, ermittelt werden.
Ein Vorteil der Relevanz-Annotationen ist, dass anhand dieser Speicherplatz eingespart werden kann, da nicht die gesamten Daten auf einmal in den Arbeitsspeicher geladen werden müssen, sondern nur die relevanten Ausschnitte. Außerdem reduzieren Relevanz-Annotationen den Aufwand für die Generierung von Trainingsdaten, da das Verfahren auf die als relevant gekennzeichneten Gitterpunkte beschränkt werden kann. So können in dem Schritt des Ermittelns von Anomalie-Annotationen nur als relevant gekennzeichnete Gitterpunkte in Betracht gezogen werden, indem z. B. Anomalie-Annotationen nur an diesen Gitterpunkten bestimmt werden. In dem Schritt des Bestimmens der wenigstens einen Interessenregion können nur als relevant gekennzeichnete Gitterpunkte einbezogen werden, indem z. B. Interessenregionen nur relevante Gitterpunkte enthalten können. In dem Schritt des Bestimmens der wenigstens einen Kostenfunktion können nur als relevant gekennzeichnete Gitterpunkte herangezogen werden, indem beispielsweise nur diese Gitterpunkte für die Formulierung der Kostenfunktion, z. B. als Samples, genutzt werden. In dem Schritt des Ermittelns der Struktur-Annotationen können den Struktur-Annotationen von als nicht-relevant gekennzeichneten Gitterpunkten Werte für das Nicht-Vorliegen einer Strukturauffälligkeit zugewiesen werden. Schließlich können in dem Schritt des Auswählens von Trainingsdaten nur als relevant gekennzeichnete Gitterpunkte ausgewählt werden.
Eine vorteilhafte Weiterbildung des Verfahrens sieht einen zusätzlichen Verfahrensschritt des Ermittelns von Referenzdaten zu den Daten vor, die Informationen über die Gitterpunktwerte an den Gitterpunkten der Daten bei Abwesenheit von Gitterpunktwert-Anomalien enthalten. Diese Art von Daten wird auch als „golden part“ bezeichnet.
Die Referenzdaten können aus Daten des räumlich ausgedehnten Objekts, die keine oder nur geringe Strukturauffälligkeiten enthalten, und/oder anhand eines Modells des räumlich ausgedehnten Objekts, insbesondere eines CAD-Modells des räumlich ausgedehnten Objekts, ermittelt werden.
Referenzdaten können in verschiedenen Verfahrensschritten verwendet werden, um die Qualität der generierten Trainingsdaten zu verbessern und gleichzeitig den Aufwand für das Generieren der Trainingsdaten zu verringern. Es ist z. B. vorteilhaft, wenn in dem Schritt des Ermittelns von Anomalie-Annotationen an Gitterpunkten diese anhand der Referenzdaten bestimmt werden. Auch die Kostenfunktion kann anhand von Referenzdaten definiert oder verbessert werden. Für beide Verwendungen kann ein Maß für die Abweichung der Daten von den Referenzdaten an einem Gitterpunkt bestimmt werden. Dafür können Statistiken über Gitterpunktwerte der Referenzdaten, Klassifikationsverfahren, Feature-Detektions-Verfahren und/oder maschinellen Lernverfahren verwendet werden. Anhand des Maßes können Anomalien detektiert werden, oder das Maß kann z. B. als Term in die Kostenfunktion integriert werden.
Im Falle eines interaktiven Verfahrens, ist eine gute Bedienbarkeit und Visualisierung der Daten für den Anwender von Vorteil. Denn das Anzeigen einzelner Schnitte durch die Daten ist unübersichtlich und kann leicht dazu führen, dass Strukturauffälligkeiten übersehen oder nicht vollständig markiert werden.
Um dies zu vermeiden ist es von Vorteil, dass der Anwender Gitterpunkte in mehreren Schnitten durch die Daten am Bildschirm mittels eines Markierungswerkzeugs markiert, wobei dieses eine Form aus der Gruppe umfassend Punkt, Linie, Würfel, Stern, Quader, Kugel aufweist und/oder wobei dieses eine anhand eines Wertes einstellbare Dichte aufweist, die für jeden gekennzeichneten Gitterpunkt eine Wahrscheinlichkeit bestimmt, dass dieser zur Markierung gehört. Die Markierungen des Anwenders können dabei gleichzeitig in mehreren Schnitten durch die Daten angezeigt werden. Dadurch werden die Übersichtlichkeit und die Flexibilität für den Anwender bei der Markierung erhöht, sodass die Qualität der Trainingsdaten verbessert wird. Außerdem kann durch Einstellen der Dichte des Markierungswerkzeuges direkt die Rechenzeit des Verfahrens beeinflusst werden, indem z. B. eine geringere Dichte des Markierungswerkzeugs dazu führt, dass die Samplemenge kleiner ist und somit weniger Samples zur Schätzung der Wahrscheinlichkeitsdichte verwendet werden.
Das beschriebene Verfahren eignet sich insbesondere zur Anwendung auf CT -Daten.
Anhand der generierten Trainingsdaten kann ein maschinelles Lernverfahren, insbesondere ein Segmentierungsverfahren, für das Erkennen von Strukturauffälligkeiten eines räumlich ausgedehnten Objekts trainiert werden. Hierfür kann z. B. das in dem Artikel „U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, Thomas Brox, International Conference on Medical image computing and computer-assisted intervention, 2015“ beschriebene Verfahren verwendet werden, auf den hiermit vollumfänglich Bezug genommen und dessen Offenbarung in die Beschreibung dieser Erfindung einbezogen wird.
Basierend auf dem trainierten maschinellen Lernverfahrens kann ein Verfahren zum Bestimmen von Merkmalen von Strukturauffälligkeiten eines räumlich ausgedehnten Objekts definiert werden.
Dieses kann beinhalten, dass in einem Schritt Struktur-Annotationen für die Gitterpunkte des räumlich ausgedehnten Objekts anhand des trainierten maschinellen Lernverfahrens berechnet werden, dass daraus detektierte Strukturauffälligkeiten in Form von räumlich zusammenhängenden Mengen von Gitterpunkten mit Struktur-Annotationen, die das Vorliegen einer Strukturauffälligkeit anzeigen, bestimmt werden, und dass in einem weiteren Schritt Merkmale der detektierten Strukturauffälligkeiten ermittelt werden.
Dabei können die Merkmale der detektierten Strukturauffälligkeiten des räumlich ausgedehnten Objekts einen oder mehrere Strukturauffälligkeits-Typen und/oder Beschaffenheitsmerkmale aufweisen. Die Strukturauffälligkeits-Typen können aus der Gruppe von Defektarten umfassend Lunker, Porositäten, Poren, Kaltlauf, Kernbruch, Sandreste, Risse, Einschlüsse, Kratzer, Blasen stammen. Die Beschaffenheitsmerkmale können aus der Gruppe von Merkmalen der räumlichen Ausdehnung oder des Aussehens umfassend Größe, Ort, Volumen, Fläche, Oberfläche, Durchmesser, Umfang, Form, Art, Anzahl, Konfiguration, Schwerpunkt, Kompaktheit, Abstand, Verteilung, Dichte, Gitterpunktwertverteilungen, Momente von Gitterpunktwertverteilungen stammen.
Das auf dem trainierten maschinellen Lernverfahren basierende Verfahren kann insbesondere zum Vermessen von Defekten eines räumlich ausgedehnten Objekts dienen.
Ein erfindungsgemäßes Computerprogrammprodukt enthält ein Computerprogramm mit Programmcode zur Durchführung der vorstehend angegebenen Verfahrensschritte, wenn das Computerprogramm in eine Rechnereinheit geladen und/oder in einer Rechnereinheit durchgeführt wird.
Eine erfindungsgemäße Vorrichtung zum Vermessen von Defekten eines in einem Objektraum angeordneten räumlich ausgedehnten Objekts enthält einen Computertomographen für das Ermitteln eines CT-Datensatzes zu dem räumlich ausgedehnten Objekt und eine Rechnereinheit, in die ein Computerprogramm mit Programmcode zur Durchführung der vorstehend angegebenen Verfahrensschritte zum Vermessen von Defekten des räumlich ausgedehnten Objekts geladen ist.
Eine erfindungsgemäße Vorrichtung zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren enthält einen Computertomographen für das Ermitteln eines CT-Datensatzes zu einem in einem Objektraum angeordneten räumlich ausgedehnten Objekt und mit einer Rechnereinheit, in die ein Computerprogramm mit Programmcode zur Durchführung der vorstehend angegebenen Verfahrensschritte zur Generierung von Trainingsdaten geladen ist.
Nachfolgend werden vorteilhafte Ausführungsbeispiele der Erfindung beschrieben, die in den Zeichnungen schematisch dargestellt sind.
Es zeigen:

1A eine Übersicht von Verfahrensschritten zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren gemäß einer ersten Ausführungsform;
1B eine Übersicht von Verfahrensschritten zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren gemäß einer zweiten Ausführungsform;
1C eine Übersicht von Verfahrensschritten zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren gemäß einer dritten Ausführungsform;
1D eine Übersicht von Verfahrensschritten zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren gemäß einer vierten Ausführungsform;
2 ein dreidimensionales Gitter mit Gitterpunkten, auf dem die Daten anhand der Gitterpunktwerte definiert sind;
3 CT-Daten in Form von mehreren CT-Datensätzen eines Bauteils;
4 einen Ausschnitt der Daten mit einer Strukturauffälligkeit darin;
5 Anomalie-Annotationen für den Ausschnitt der Daten in 4;
6 eine Interessenregion enthaltend die Anomalie-Annotationen in 5
7 eine anhand eines Markierungswerkzeugs vorgenommene Struktur-Annotation;
8 eine Navigationsansicht mit Hauptachsen-Querschnitten durch die Daten;
9 Struktur-Annotationen für den Ausschnitt der Daten in 4;
10 eine Auswahl von Trainingsdaten aus den Daten;
11 ein maschinelles Lernverfahren in Form eines neuronalen Netzwerks, das anhand der generierten Trainingsdaten trainiert wird;
12 Strukturauffälligkeiten, die auf Basis von anhand des trainierten maschinellen Lernverfahrens erzeugten Struktur-Annotationen ermittelt wurden;
13A Struktur-Annotationen zu dem Ausschnitt der CT-Daten in 4;
13B anhand der Struktur-Annotationen in 13A bestimmte Strukturauffälligkeiten;
13C ein Merkmal einer Strukturauffälligkeit in 13B in Form einer Intensitätsstatistik innerhalb der Strukturauffälligkeit;
14 Relevanz-Annotationen für CT-Daten des Bauteils; und
15 Referenzdaten in Form eines CAD-Modells des Bauteils.

In der 1A sind die einzelnen Schritte eines Verfahrens 10 gemäß einer ersten Ausführungsform zu sehen, das zur Generierung von Trainingsdaten 32 für ein maschinelles Lernverfahren 46 zur Bestimmung von Merkmalen 50 von Strukturauffälligkeiten 34 eines räumlich ausgedehnten Objekts 48 dient. Die erste Ausführungsform des Verfahrens umfasst einen Schritt 12 des Bereitstellens von Daten 42, einen Schritt 14 des Ermittelns von Anomalie-Annotationen 38, einen Schritt 16 des Bestimmens von Interessenregionen 40, einen Schritt 18 des Bestimmens einer Kostenfunktion, einen Schritt 20 des Berechnens von Struktur-Annotationen 44 und einen Schritt 60 des Auswählens von Trainingsdaten 32. Der Schritt 18 des Bestimmens der Kostenfunktion und der Schritt 20 des Berechnens von Struktur-Annotationen 44 wird entsprechend der Iteration 63 bei diesem Verfahren einmal oder mehrfach ausgeführt.
Die 1B zeigt die einzelnen Schritte eines Verfahrens 10' gemäß einer zweiten Ausführungsform, das zur Generierung von Trainingsdaten 32 für ein maschinelles Lernverfahren 46 zur Bestimmung von Merkmalen 50 von Strukturauffälligkeiten 34 eines räumlich ausgedehnten Objekts 48 dient. Die einzelnen Schritte dieses Verfahrens umfassen zusätzlich zu den Schritten des Verfahrens 10, das vorstehend anhand der 1A erläutert ist, einen Schritt 52 des Ermittelns von Relevanz-Annotationen 54 und einen Schritt 56 des Ermittelns von Referenzdaten 58. Diese Maßnahmen verbessern die Qualität der generierten Trainingsdaten 32 und verringern den Aufwand für das Generieren der Trainingsdaten 32.
Die 1C zeigt die einzelnen Schritte eines weiteren Verfahrens 10" gemäß einer dritten Ausführungsform, das zur Generierung von Trainingsdaten 32 für ein maschinelles Lernverfahren 46 zur Bestimmung von Merkmalen 50 von Strukturauffälligkeiten 34 eines räumlich ausgedehnten Objekts 48 dient. Die einzelnen Schritte dieses Verfahrens umfassen zusätzlich zu den Schritten 12, 14, 16, 18, 20, 60 des Verfahrens entsprechen der anhand der 1A und 1 B erläuterten ersten und zweiten Ausführungsform weitere Schritte 22, 24 und 26. Mit den generierten Trainingsdaten wird in dem weiteren Schritt 22 ein maschinelles Lernverfahren 46 trainiert. Anhand des trainierten maschinellen Lernverfahrens 46 werden in dem Schritt 24 Struktur-Annotationen 44 für Gitterpunkte der Daten 42 erzeugt. Aus den Struktur-Annotationen 44 werden schließlich Strukturauffälligkeiten 34 ermittelt. In dem Schritt 26, der ein letzter Schritt des Verfahrens ist, werden Merkmale 50 der ermittelten Strukturauffälligkeiten 34 bestimmt.
Die 1D zeigt die einzelnen Schritte eines weiteren Verfahrens 10''' gemäß einer vierten Ausführungsform, das zur Generierung von Trainingsdaten 32 für ein maschinelles Lernverfahren 46 zur Bestimmung von Merkmalen 50 von Strukturauffälligkeiten 34 eines räumlich ausgedehnten Objekts 48 dient. Diese vierte Ausführungsform des Verfahrens umfasst zusätzlich zu den Verfahrensschritten des anhand der 1C vorstehend beschriebenen Verfahrens gemäß der dritten Ausführungsform einen Schritt 52 des Ermittelns von Relevanz-Annotationen 54 und einen Schritt 56 des Ermittelns von Referenzdaten 58.
In dem Schritt 12 des Bereitstellens von Daten 42 werden Daten 42 in Form von CT-Daten eines räumlich ausgedehnten Objekts 48 in Form eines Bauteils einer Maschine auf einem in 2 dargestellten dreidimensionalen Gitter 28 in einem Koordinatensystem 62 mit Gitterpunkten 30, die jeweils Gitterpunktwerte enthalten, bereitgestellt.
Die Daten 42, wie in 3 gezeigt, enthalten mehrere dreidimensionale CT-Datensätze, die anhand eines Computertomographen für das Bauteil der Maschine erzeugt wurden. In 3 sind Daten 42 gezeigt, die zwei Datensätze 421 und 422 enthalten. Grundsätzlich können die Daten auch nur einen dreidimensionalen CT-Datensatz oder einen oder mehrere höherdimensionale Datensätze, z. B. eine Videosequenz von CT-Datensätzen, enthalten. Das Gitter 28 ist dabei in Form eines Volumens gegeben, das Gitterpunkte 30 in Form von Voxeln enthält. An einem jeden Gitterpunkt 30 liegt bei Aufnahme der Daten ein Gitterpunktwert in Form eines Intensitätswerts vor.
Bauteile dieser Art weisen oft Strukturauffälligkeiten 34 in Form von Defekten auf, z. B. Lufteinschlüsse oder Verunreinigungen. Mit dem erfindungsgemäßen Verfahren kann anhand der generierten Trainingsdaten ein maschinelles Lernverfahren trainiert werden, das Strukturauffälligkeiten detektiert. 4 zeigt einen Abschnitt des Bauteils der Maschine mit einer solchen Strukturauffälligkeit 34 in Form eines Defekts.
Strukturauffälligkeiten 34 sind gekennzeichnet durch auffällige Gitterpunktwerte in den Daten, sogenannte Gitterpunktwert-Anomalien 36. Um sinnvoll Trainingsdaten 32 generieren zu können, die Beispiele für Strukturauffälligkeiten und für Nicht-Strukturauffälligkeiten enthalten, liegt an wenigstens einem Gitterpunkt 30 eine Gitterpunktwert-Anomalie 36 und an wenigstens einem von dem Gitterpunkt verschiedenen weiteren Gitterpunkt 30 keine Gitterpunktwert-Anomalie 36 vor.
In dem zweiten Schritt 14 des Ermittelns von Anomalie-Annotationen 38 werden Gitterpunktwert-Anomalien 36 in Form von auffälligen Stellen in den Daten 42 anhand eines Anomalie-Detektionsverfahrens erkannt. Dabei zeigen die Anomalie-Annotationen 38 an wenigstens einem Gitterpunkt 30 das Vorliegen einer Gitterpunktwert-Anomalie 36 und an wenigstens einem von dem Gitterpunkt 30 verschiedenen weiteren Gitterpunkt 30 das Nicht-Vorliegen einer Gitterpunktwert-Anomalie 36 an.
Die 5 zeigt eine von dem Anomalie-Detektionsverfahren erzeugte Anomalie-Annotation 38 mit einem Wert im Intervall [0, 1] für jeden Gitterpunkt 30. Der Wert 0 zeigt dabei an, dass keine Gitterpunktwert-Anomalie detektiert wurde und ist in 5 in schwarzer Farbe dargestellt, während der Wert 1 anzeigt, dass eine Gitterpunktwert-Anomalie detektiert wurde. Der Wert 1 ist in 5 in weißer Farbe dargestellt. Zwischenwerte tragen Unsicherheiten des Anomalie-Detektionsverfahrens Rechnung und sind in 5 in grauer Farbe dargestellt. Sie können als Wahrscheinlichkeit für das Vorliegen einer Gitterpunktwert-Anomalie verstanden werden.
Das Anomalie-Detektionsverfahren kann auf Supervoxeln operieren, d. h. auf einem Volumen von gröberer Auflösung, in dem ein Voxel mehrere Voxel der feineren Auflösung enthält. Dadurch sind auch die berechneten Anomalie-Annotationen 38 von gröberer Auflösung, wie in 5 gezeigt, sodass bezogen auf das feiner aufgelöste Volumen benachbarte Voxel die gleiche Anomalie-Annotation 38 aufweisen.
Das Anomalie-Detektionsverfahren kann auf einer One Class SVM basieren. Für jeden Gitterpunkt 30 wird dabei eine separate One Class SVM anhand von Gitterpunktwert-Anomalie-Trainingsdaten trainiert. Die CT-Datensätze der Gitterpunktwert-Anomalie-Trainingsdaten sind alle in dem gleichen Koordinatensystem 62 definiert. Außerdem sind sie so ausgerichtet, dass die Gitterpunkte 30 in jedem Datensatz jeweils den gleichen Ausschnitt des Bauteils zeigen. Somit liegen für jeden Gitterpunkt 30 so viele Samples in den Gitterpunktwert-Anomalie-Trainingsdaten vor, wie diese CT-Datensätze enthalten.
Als Gitterpunktwerte der Samples werden aus den Intensitätswerten der CT-Daten Filterantworten berechnet. Hierfür eignen sich z. B. Histograms of Oriented Gradients" wie in dem Artikel „Histograms of Oriented Gradients for Human Detection, N. Dalal, B. Triggs, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2005" und Laplacian of Gaussian Filter sowie die Kombination beider Filterantworten. Anhand der Samples mit den Filterantworten wird für jeden Gitterpunkt 30 eine One Class SVM trainiert. Diese hat den Vorteil, dass die Gitterpunktwert-Anomalie-Trainingsdaten dafür nicht aufwändig als Gitterpunktwert-Anomalie 36 oder Nicht-Gitterpunktwert-Anomalie markiert werden müssen. Stattdessen lernt die One Class SVM für jeden Gitterpunkt 30 im Gitter 28 anhand der Gitterpunktwert-Anomalie-Trainingsdaten lediglich, wie typische Datensätze an diesem Gitterpunkt 30 aussehen. Dabei wird ausgenutzt, dass Gitterpunktwert-Anomalien 36 selten in den Daten 42 vorkommen und somit statistisch einen sehr geringen Einfluss auf die trainierten One Class SVMs haben.
Für einen neuen Datensatz können die One Class SVMs dann bewerten, wie weit dieser Datensatz an jedem Gitterpunkt 30 von den Gitterpunktwert-Anomalie-Trainingsdaten der One Class SVMs entfernt ist, d. h. wie anomal dieser Datensatz an jedem Gitterpunkt 30 ist.
Die Bewertung der One Class SVMs kann somit als Anomalie-Annotation 38 verwendet werden. Alternativ kann auch ein Schwellwert auf die Bewertungen der One Class SVMs angewendet werden, oberhalb dessen einem Gitterpunkt 30 eine Anomalie-Annotation 38 mit dem Wert 1 und unterhalb dessen einem Gitterpunkt 30 eine Anomalie-Annotation 38 mit dem Wert 0 zugeordnet wird. Auch Abbildungen der Bewertungen der One Class SVMs auf das gesamte Intervall [0,1] oder andere Intervalle oder Werte sind denkbar.
In dem nächsten Schritt 16 des Bestimmens von Interessenregionen 40 werden anhand der Anomalie-Annotationen 38 Interessenregionen 40, wie in 6 zu sehen, bestimmt. Die Anomalie-Annotation 38 an wenigstens einem Gitterpunkt 30 in der Interessenregion 40 zeigt dabei das Vorliegen einer Gitterpunktwert-Anomalie 36 und an wenigstens einem von dem Gitterpunkt 30 verschiedenen weiteren Gitterpunkt 30 in der Interessenregion 40 das Nicht-Vorliegen einer Gitterpunktwert-Anomalie 36 an.
Dafür wird ein Schwellwert für die Anomalie-Annotationen 38 festgelegt, sodass jeder Gitterpunkt 30 mit einer Anomalie-Annotation 38 oberhalb des Schwellwerts als Gitterpunktwert-Anomalie 36 und jeder Gitterpunkt 30 mit einer Anomalie-Annotation 38 unterhalb des Schwellwerts als Nicht-Gitterpunktwert-Anomalie 36 gilt.
Für jede zusammenhängende Menge von Gitterpunkten 30 mit Anomalie-Annotationen 38 oberhalb des Schwellwerts wird dann eine Interessenregion 40 bestimmt. Dafür können z. B. für jede Achse des Koordinatensystems 62 die minimale und maximale Koordinate aller Gitterpunkte 30 dieser Menge bestimmt werden. Diese bilden dann die Eckpunkte der Interessenregion 40, welche die Form eines Quaders besitzt.
Bei der Bestimmung der wenigstens einen Interessenregion 40 ist es von Vorteil, wenn diese dieselbe räumliche Dimension wie die des wenigstens einen Gitters 28 aufweist - im Falle eines Voxelvolumens also dreidimensional ist.
Außerdem ist es von Vorteil, wenn die wenigstens eine Interessenregion 40 so ausgewählt wird, dass die Anomalie-Annotation 38 von vorzugsweise wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte 30 das Vorliegen einer Gitterpunktwert-Anomalie 36 anzeigt und von wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte 30 darin das Nicht-Vorliegen einer Gitterpunktwert-Anomalie 36 anzeigt.
Anhand der wenigstens einen Interessenregion 40 kann nun in dem anschließenden Schritt 18 eine Kostenfunktion K: I x S x ℝ → ℝ bestimmt werden, welche Informationen /: M → ℝ umfassend Gitterpunktwerte und/oder Anomalie-Annotationen 38 in der wenigstens einen Interessenregion M ⊆ ℝ³ des Gitters 28 und eine das Vorliegen einer Strukturauffälligkeit 34 an einem Gitterpunkt 30 anzeigende Struktur-Annotation S: M → ℝ für wenigstens einen Teil der Gitterpunkte 30 verknüpft.
Die wenigstens eine Kostenfunktion kann anhand von Gitterpunktwerten der Daten 42 und/oder anhand von Abständen von Gitterpunkten 30 und/oder anhand von Anomalie-Annotationen 38 von Gitterpunkten 30 in der wenigstens einen Interessenregion 40 bestimmt werden. Dafür kann ein maschinelles Lernverfahren 46, eine Statistik und/oder ein Wertevergleich zur Anwendung kommen. Die wenigstens eine Kostenfunktion kann zusätzliche Annahmen und/oder Nebenbedingungen betreffend die Beschaffenheit der Strukturauffälligkeiten 34 aus der Gruppe umfassend Größe, Ort, Volumen, Fläche, Oberfläche, Durchmesser, Umfang, Form, Anzahl, Art, Konfiguration, Schwerpunkt, Kompaktheit, Abstand, Verteilung, Dichte, Gitterpunktwertverteilung, Momente von Gitterpunktwertverteilungen beinhalten.
Die wenigstens eine Kostenfunktion kann anhand von Anwendereingaben oder automatisch bestimmt werden.
Bei der Bestimmung der wenigstens einen Kostenfunktion anhand von Anwendereingaben kann ein Anwender über eine Anwenderschnittstelle für Gitterpunkte 30 der wenigstens einen Interessenregion 40, deren Daten 42 und/oder Anomalie-Annotationen 38 an einem Bildschirm zur Anzeige gebracht werden, das Vorliegen einer Strukturauffälligkeit 34 oder das Nicht-Vorliegen einer Strukturauffälligkeit 34 markieren.
Dem Anwender werden dabei an einem Bildschirm eine oder mehrere Interessenregionen 40 angezeigt. Innerhalb dieser Interessenregionen 40 markiert der Anwender mit einem Markierungswerkzeug 66, z. B. einer Maus, eine erste Gruppe von Gitterpunkten 30, die zu einer Strukturauffälligkeit 34 gehören, mit einer ersten Markierung und eine zweite Gruppe von Gitterpunkten 30, die nicht zu einer Strukturauffälligkeit 34 gehören, mit einer zweiten Markierung. Die erste Gruppe dient als eine Menge von Samples für die Wahrscheinlichkeitsdichte der Gitterpunktwerte für Gitterpunkte 30 innerhalb der Strukturauffälligkeit 34. Die zweite Gruppe dient als eine Menge von Samples für die Wahrscheinlichkeitsdichte der Gitterpunktwerte für Gitterpunkte 30 außerhalb der Strukturauffälligkeit 34.
Die 7 zeigt eine Anwenderschnittstelle, anhand welcher der Anwender Eingaben zur Bestimmung der wenigstens einen Kostenfunktion machen kann. Dafür markiert der Anwender Gitterpunkte 30 in verschiedenen Schnitten durch die Daten 42 am Bildschirm mittels eines Markierungswerkzeugs 66 als Strukturauffälligkeit 34 oder Nicht-Strukturauffälligkeit. Die Markierungen werden gleichzeitig in allen Schnitten angezeigt, sodass der Anwender einen besseren dreidimensionalen Eindruck der Daten 42 hat. Das Markierungswerkzeug 66 kann - ähnlich einem Stift - eine Form aus der Gruppe umfassend Punkt, Linie, Würfel, Stern, Quader, Kugel aufweisen. Diese Form betrifft die Anordnung der Gitterpunkte 30 auf dem Bildschirm, die z. B. mit einem Mausklick gleichzeitig von dem Markierungswerkzeug 66 markiert werden. Das Markierungswerkzeug 66 kann zusätzlich oder alternativ eine anhand eines Wertes einstellbare Dichte aufweisen, die für jeden gekennzeichneten Gitterpunkte 30 eine Wahrscheinlichkeit dafür bestimmt, dass dieser zur Markierung gehört.
Die markierten Gitterpunkte 30 gehören jeweils entweder zu einer ersten Menge von Gitterpunkten 30, an denen eine Strukturauffälligkeit 34 vorliegt, oder zu einer zweiten Menge von Gitterpunkten 30, an denen keine Strukturauffälligkeit 34 vorliegt. Anhand dieser Samples können dann Wahrscheinlichkeitsdichten für das Vorliegen von Strukturauffälligkeiten 34 bzw. für das Nicht-Vorliegen von Strukturauffälligkeiten 34 bestimmt werden.
Die Annotation erfolgt, wie in 8 gezeigt, in drei frei navigierbaren und zueinander Bezug nehmenden 2D Teilansichten des Bauteils der Maschine mit den in 3 gezeigten Daten, wobei die 2D-Teilansichten in Form von Hauptachsen-Querschnitten 68 auf das dreidimensionale Gitter 28 mit den Daten 42 gegebenen sind. Der Bereich, in dem die Anomalie-Annotationen 38 ein Vorliegen einer Gitterpunktwert-Anomalie 36 anzeigen, wird automatisch analysiert, eine diesen Bereich einschließende Interessenregion 40 wird automatisch generiert und deren Mittelpunkt in einer Navigationsansicht 70 zentriert. Dadurch wird ein manuelles Markieren von Interessenregionen 40 überflüssig. Innerhalb der Interessenregionen 40 kann der Anwender dann anhand des Markierungswerkzeugs 66 Struktur-Annotationen 44 vornehmen. Gitterpunkte 30, die zu einer Strukturauffälligkeit 34 gehören, können mit einer Struktur-Annotation 44' für Strukturauffälligkeiten 34 gekennzeichnet werden. Gitterpunkte 30, die zu keiner Strukturauffälligkeit 34 gehören, können mit einer Struktur-Annotation 44'' für Nicht-Strukturauffälligkeiten gekennzeichnet werden.
Zu bemerken ist, dass die Kostenfunktion alternativ hierzu auch automatisch ohne Anwendereingaben bestimmt werden kann. Sie kann dann anhand von Gitterpunktwerten der Daten 42 an wenigstens einem Gitterpunkt 30 aus einer ersten Gruppe von Gitterpunkten 30, die innerhalb der wenigstens einen Interessenregion 40 liegen und deren Anomalie-Annotation 38 das Vorliegen einer Gitterpunktwert-Anomalie 36 anzeigt, und anhand von Gitterpunktwerten der Daten 42 an wenigstens einem Gitterpunkt 30 aus einer zweiten Gruppe von Gitterpunkten 30, die innerhalb der wenigstens einen Interessenregion 40 liegen und deren Anomalie-Annotation 38 das Nicht-Vorliegen einer Gitterpunktwert-Anomalie 36 anzeigt, und/oder anhand von Abständen von Gitterpunkten 30 innerhalb der Interessenregionen 40 zu der ersten und/oder zweiten Gruppe bestimmt werden.
Alternativ kann die wenigstens eine Kostenfunktion auch automatisch anhand von Gitterpunktwerten der Daten 42 und/oder Anomalie-Annotationen 38 an wenigstens einem Gitterpunkt 30 aus einer ersten Gruppe von Gitterpunkten 30, die innerhalb der wenigstens einen Interessenregion 40 liegen und deren Struktur-Annotation 44 das Vorliegen einer Strukturauffälligkeit 34 wie zum Beispiel eines Defekts anzeigt, und anhand von Gitterpunktwerten der Daten 42 und/oder Anomalie-Annotationen 38 an wenigstens einem Gitterpunkt 30 aus einer zweiten Gruppe von Gitterpunkten 30, die innerhalb der wenigstens einen Interessenregion 40 liegen und deren Struktur-Annotation 38 das Nicht-Vorliegen einer Strukturauffälligkeit 34 anzeigt, und/oder anhand von Abständen von Gitterpunkten 30 innerhalb der Interessenregion 40 zu der ersten und/oder zweiten Gruppe bestimmt werden.
Bei der Auswahl der Gitterpunktgruppen können insbesondere zur Verbesserung der Qualität der Trainingsdaten 32 diejenigen Gitterpunkte 30 gewählt werden, die das Vorliegen oder das Nicht-Vorliegen einer Gitterpunktwert-Anomalie 36 bzw. das Vorliegen oder das Nicht-Vorliegen einer Strukturauffälligkeit 34 mit besonders großer Sicherheit anzeigen, z. B. mit einem Wert nahe 1 bzw. nahe 0 bei einer Anomalie-Annotation 38 bzw. einer Struktur-Annotation 44 mit Wertebereich [0,1].
Anhand der Samples und zusätzlicher Annahmen wie z. B. der Annahme, dass die Strukturauffälligkeiten 34 eine kompakte Form aufweisen, wird dann eine Kostenfunktion formuliert, die für jeden Gitterpunkt 30 des Gitters 28 einen Wert, z. B. eine Wahrscheinlichkeit, dafür berechnen kann, dass dieser Teil einer Strukturauffälligkeit 34 ist.
Es können auch mehrere verschiedene Struktur-Annotationen 44 für jeden Gitterpunkt 30 des Gitters 28 berechnet werden, z. B. je eine Struktur-Annotation 44 für eine Art von Strukturauffälligkeit 34 wie z. B. Lunker, Porositäten, Poren, Kaltlauf, Kernbruch, Sandreste, Risse, Einschlüsse, Kratzer oder Blasen. Zur Berechnung der Wahrscheinlichkeitsdichten für mehrere Arten von Strukturauffälligkeiten 34 wird jeweils eine erste Gruppe mit Gitterpunkten 30, die ein Vorliegen der speziellen Art von Strukturauffälligkeit 34 anzeigt, und eine zweite Gruppe mit Gitterpunkten 30, die ein Nicht-Vorliegen der speziellen Art von Strukturauffälligkeit 34 anzeigt, ermittelt und daraus je eine Wahrscheinlichkeitsdichte für jede Art von Strukturauffälligkeit 34 berechnet. Anhand dieser Wahrscheinlichkeitsdichten kann eine Kostenfunktion aufgestellt werden.
Eine solche Kostenfunktion ist für die Segmentierung von 2D-Farb-Bildern mit n Regionen z. B. in dem oben genannten Artikel von Nieuwenhuis und Cremers formuliert. Die dort verwendete Kostenfunktion hat die Form $E_{p} (θ) = {\sum_{i = 1}^{n} \int_{Ω} λ θ_{i} f_{i} d x - g (x) | D θ_{i} |} + δ_{B} (θ) .$
Soll nur zwischen Strukturauffälligkeiten 34 und Nicht-Strukturauffälligkeiten unterschieden werden, so genügt eine Struktur-Annotation θ und eine logarithmische Wahrscheinlichkeitsverteilung f über Gitterpunktwerte oder Anomalie-Annotationen, d. h. n = 1. In dem Fall, dass zwischen mehreren Arten von Strukturauffälligkeiten 34 unterschieden werden soll, kann für jede Art von Strukturauffälligkeit 34 eine eigene Struktur-Annotation 44 θ_i, i ∈ {1, .., n} berechnet werden.
Durch Minimierung der Kostenfunktion gemäß Gleichung (1) kann dann für jede Art von Strukturauffälligkeit 34 eine Struktur-Annotation 44 θ_i, i ∈ {1, .., n} berechnet werden.
Es können auch wenigstens zwei unterschiedliche Kostenfunktionen, z. B. eine für jede Interessenregion 40, zur Ermittlung der Struktur-Annotationen 44 bestimmt werden.
In dem folgenden Schritt 20 werden Struktur-Annotationen 44 für den wenigstens einen Teil der Gitterpunkte 30, wie in 9 zu sehen, anhand von deren Gitterpunktwerten und/oder Anomalie-Annotationen 38 durch Optimieren der Kostenfunktion berechnet. Anhand der Kostenfunktion wird dadurch für jeden Gitterpunkt 30 des Gitters 28 ein Wert, z. B. die Wahrscheinlichkeit für die Zugehörigkeit zu einer Strukturauffälligkeit 34 berechnet. Dieser Wert dient dann als Struktur-Annotation 44.
Um die Genauigkeit der Struktur-Annotationen 44 zu erhöhen, können der Schritt 18 des Bestimmens der Kostenfunktion und der Schritt 20 des Berechnens von Struktur-Annotationen 44 entsprechend der Iteration 63 einmal oder mehrfach ausgeführt werden. In jeder Iteration kann z. B. ein Anwender fehlerhafte Struktur-Annotationen 44 des Algorithmus durch Annotation mit einem Markierungswerkzeug 66 korrigieren, woraufhin die Kostenfunktion und die Struktur-Annotationen 44 aktualisiert werden. Alternativ kann die wenigstens eine Kostenfunktion bei jeder Iteration anhand der berechneten Struktur-Annotationen 44 automatisch angepasst werden. Diese Iteration kann fortgeführt werden, bis sich die Struktur-Annotation 44 nicht mehr ändert oder bis zu einer festgelegten Anzahl von maximalen Iterationen.
Um die Rechenzeit des Verfahrens 10 deutlich zu verringern, ist es zum einen vorteilhaft, dass in dem Schritt 20 des Berechnens der Struktur-Annotationen 44 für wenigstens einen Teil der Gitterpunkte 30 diese Struktur-Annotationen 44 in der wenigstens einen Interessenregion 40 berechnet werden. Zum anderen ist es vorteilhaft, den Struktur-Annotationen 44 derjenigen Gitterpunkte 30, die nicht zu der wenigstens einen Interessenregion 40 gehören, einen Wert für das Nicht-Vorliegen einer Strukturauffälligkeit 34 automatisch zuzuweisen, z. B. Struktur-Annotationen 44 mit dem Wert 0.
Schließlich werden in einem letzten Schritt 60 Trainingsdaten 32 für das maschinelle Lernverfahren 46 in Form von wenigstens einem Teil der Daten 42 mit Annotationen aus der Menge umfassend Struktur-Annotationen 44 und Anomalie-Annotationen 38 ausgewählt. Dafür können alle mit Annotationen versehenen Gitterpunkte 30 der Daten 42 verwendet werden. Auch die Verwendung von Gitterpunkten 30 mit mehreren unterschiedlichen Struktur-Annotationen, die das Vorliegen verschiedener Arten von Strukturauffälligkeiten anzeigen, ist möglich.
Von Vorteil ist es allerdings, wenn in dem Schritt 60 des Auswählens von Trainingsdaten 32 eine Auswahl von Daten 42 mit Struktur-Annotationen 44, wie in 10 dargestellt, derart getroffen wird, dass darin der Anteil der anhand der Struktur-Annotationen 44 als Strukturauffälligkeit 34 gekennzeichneten Gitterpunkte 30 wenigstens 35% ± 15% und höchstens 65% ± 15%, vorzugsweise 50%, und der Anteil der anhand der Struktur-Annotationen 44 als Nicht-Strukturauffälligkeit gekennzeichneten Gitterpunkte 30 wenigstens 35% ± 15% und höchstens 65% ± 15%, vorzugsweise ungefähr 50%, beträgt. Um dies zu erreichen, können z. B. direkt die Interessenregionen 40 mit den Struktur-Annotationen 44 als Trainingsdaten 32 ausgewählt werden.
Anhand der ausgewählten Trainingsdaten 32 zusammen mit den ermittelten Struktur-Annotationen 44 und/oder Anomalie-Annotationen 38 kann nun ein maschinelles Lernverfahren 46, z. B. ein Segmentierungsverfahren, wie in 11 gezeigt, trainiert werden. Dieses ordnet den Gitterpunkten 30 weiterer CT-Daten von dem Bauteil der Maschine automatisch Struktur-Annotationen 44 zu.
Maschinelle Lernverfahren sind computerbasierte Systeme, die biologischen neuronalen Netzen des Gehirns nachempfunden sind. Sie bestehen aus mehreren Schichten 72, die eine Menge von Neuronen 74 enthalten, die untereinander vernetzt sind. Zu jeder Verbindung gehört ein Kantengewicht 76. Anhand eines maschinellen Lernverfahrens werden die Kantengewichte 76 so adaptiert, dass das neuronale Netzwerk zu einer Eingabe an der Eingabeschicht möglichst das gewünschte Ergebnis an der Ausgabeschicht ausgibt. In diesem Fall besteht die Eingabe des Netzwerks aus Daten 42 des Bauteils der Maschine und die Ausgabe aus Struktur-Annotationen 44 für diese Daten 42.
Bei einem Volumen von 150 × 150 × 150 Voxeln kann anhand des trainierten maschinellen Lernverfahrens z. B. eine vollständige Segmentierung der 3.337.500 Voxel berechnet werden, wobei nur z. B. 60 Voxeln Struktur-Annotationen zugewiesen werden müssen. Dies sind lediglich 0,00178% der Voxel im gesamten Volumen, was eine deutliche Verringerung des Aufwands zur Generierung von Trainingsdaten 32 bedeutet.
Das trainierte maschinelle Lernverfahren 46 kann dann verwendet werden, um in einem Schritt 24 automatisch Struktur-Annotationen 44 für einen unbekannten CT-Datensatz des gleichen Bauteils der Maschine zu berechnen. Das Ergebnis einer solchen Berechnung ist in 12 dargestellt. Dort ist der unbekannte CT-Datensatz dargestellt mit den detektierten Strukturauffälligkeiten 34 in Form von Defekten darin. Die Intensität der Strukturauffälligkeiten 34 kennzeichnet dabei die Art des vorliegenden Defekts. Die Art des Defekts kann anhand eines Algorithmus, z. B. eines maschinellen Lernverfahrens, auf Basis von Merkmalen 50 der Strukturauffälligkeit 34 bestimmt werden.
Die 13A zeigt berechnete Struktur-Annotationen 44 in Form von Wahrscheinlichkeiten für das Vorliegen einer Strukturauffälligkeit 34 zu einem Ausschnitt der Daten 42 des räumlich ausgedehnten Objekts 48.
Die 13B zeigt Strukturauffälligkeiten 34, die in Form von räumlich zusammenhängenden Mengen von Gitterpunkten 30 mit Struktur-Annotationen 44, die das Vorliegen einer Strukturauffälligkeit kennzeichnen, ermittelt werden. Dafür kann z. B. ein Schwellwert auf die Struktur-Annotationen 44 angewendet werden, sodass jeder Gitterpunkt 30 eindeutig als Strukturauffälligkeit 34 oder Nicht-Strukturauffälligkeit gekennzeichnet wird. Auf dieser Menge können dann Strukturauffälligkeiten 34 in Form von Zusammenhangsregionen bestimmt werden. In einem letzten Schritt 26 können dann Merkmale 50 dieser Strukturauffälligkeiten 34 bestimmt werden.
In 13C ist z. B. eine Häufigkeitsverteilung über die Intensitätswerte innerhalb einer detektierten Strukturauffälligkeit 34 aus 13B dargestellt. Als Merkmal 50 der Strukturauffälligkeit 34 kann auch beispielweise der Durchmesser oder das Volumen oder die Art der detektierten Strukturauffälligkeit 34 ermittelt werden, z. B. anhand ihrer Form oder Größe.
Um den Aufwand für die Generierung von Trainingsdaten 32 zu verringern, können in einem Verfahrensschritt 52 zu den Daten 42 Relevanz-Annotationen 54 für wenigstens einen Teil der Gitterpunkte 30 ermittelt werden, siehe 1 B und 1D. 14 zeigt einen CT-Datensatz des Bauteils mit zugehörigen Relevanz-Annotationen 54. Der Wert 1 (weiß) zeigt z. B. an, dass der zugehörige Gitterpunkt 30 relevant für die Generierung von Trainingsdaten ist, während der Wert 0 (schwarz) anzeigt, dass er irrelevant ist. Auch Zwischenwerte sind hier denkbar, die den Grad der Relevanz des Gitterpunkts 30 für das maschinelle Lernverfahren 46 anzeigen.
Relevanz-Annotationen können anhand eines maschinellen Lernverfahrens und/oder eines statistischen Verfahrens und/oder anhand eines Modells des räumlich ausgedehnten Objekts, insbesondere eines CAD-Modells des Objekts, und/oder durch Markierungen eines Anwenders anhand einer Anwenderschnittstelle ermittelt werden.
Relevanz-Annotationen 54 können verwendet werden, um das Verfahren 10 zu vereinfachen und die Rechenzeit und somit den Aufwand für die Generierung von Trainingsdaten zu reduzieren. Beispielweise können bei der Ermittlung von Anomalie-Annotationen 38 nur als relevant gekennzeichnete Gitterpunkte 30 in Betracht gezogen werden, es können bei der Bestimmung der wenigstens einen Interessenregion 40 nur als relevant gekennzeichnete Gitterpunkte 30 einbezogen werden, es können bei der Bestimmung der wenigstens einen Kostenfunktion nur als relevant gekennzeichnete Gitterpunkte 30 herangezogen werden, es können bei der Ermittlung der Struktur-Annotationen 44 den Struktur-Annotationen 44 von als nicht-relevant gekennzeichneten Gitterpunkten 30 automatisch Werte für das Nicht-Vorliegen einer Strukturauffälligkeit 34 zugewiesen werden und/oder es können bei der Auswahl der Trainingsdaten 32 nur Teilbereiche der Daten 42 ausgewählt werden, die als relevant gekennzeichnet sind.
Um eine hohe Qualität der Trainingsdaten 32 zu gewährleisten, können in einem Verfahrensschritt 56 Referenzdaten 58 zu den Daten 42 ermittelt werden, die Informationen über die Gitterpunktwerte an den Gitterpunkten 30 der Daten 42 bei Abwesenheit von Gitterpunktwert-Anomalien 36, z. B. in Form einer Gitterpunktwertverteilung, enthalten. Die Referenzdaten 58 können aus Daten 42 des räumlich ausgedehnten Objekts 48, die keine oder nur geringe Strukturauffälligkeiten 34 enthalten, und/oder anhand eines Modells des räumlich ausgedehnten Objekts 48, insbesondere eines CAD-Modells, ermittelt werden.
15 zeigt Referenzdaten 58 für das Bauteil, die auf einem CAD-Modell des Bauteils basieren. Dieses CAD-Modell kann zu dem Koordinatensystem 62 des wenigstens einen Gitters 28 mit den Daten 42 ausgerichtet werden, sodass jeder Gitterpunkt 30 des CAD-Modells den gleichen Ausschnitt des Bauteils repräsentiert wie die Daten 42 in diesem Gitterpunkt 30. Auf diese Weise können basierend auf Referenzdaten 58 Anomalie-Annotationen 38 an Gitterpunkten 30 ermittelt werden. Referenzdaten 58 können auch bei der Bestimmung der Kostenfunktion verwendet werden. Für beide Verwendungen kann ein Abstandsmaß der Daten 42 von den Referenzdaten 58 anhand von Statistiken über Gitterpunktwerte der Referenzdaten 58, Klassifikationsverfahren, Feature-Detektions-Verfahren und/oder maschinellen Lernverfahren 46 ermittelt werden.
Anhand einer Statistik über die Daten des CAD-Modells kann z. B. festgestellt werden, ob die Daten 42 des Gitters 28 dem CAD-Modell der Referenzdaten 58 entsprechen oder ob sie stark davon abweichen. Eine starke Abweichung deutet dabei auf Gitterpunktwert-Anomalien 36 oder Strukturauffälligkeiten 34 hin. Das Abstandsmaß kann somit als Anomalie-Annotation 38 verwendet oder als Term in die Kostenfunktion integriert werden.
Anhand des Verfahrens 10 zur Generierung von Trainingsdaten 32 kann ein maschinelles Lernverfahren 46 für das Erkennen von Strukturauffälligkeiten 34 in Form von Defekten eines Bauteils trainiert werden. Bei diesem maschinellen Lernverfahren 46 kann es sich insbesondere um ein Segmentierungsverfahren handeln.
Auf Basis des trainierten maschinellen Lernverfahrens 46 kann ein Verfahren zum Bestimmen von Merkmalen 50 von Strukturauffälligkeiten 34 definiert werden. Dieses kann in einem Schritt 24 Strukturauffälligkeiten 34 aus Struktur-Annotationen 44 für die Gitterpunkte 30 des Bauteils anhand des maschinellen Lernverfahrens 46 berechnen. In einem weiteren Schritt 26 kann es Merkmale 50 von Strukturauffälligkeiten 34 in Form von räumlich zusammenhängenden Mengen von Gitterpunkten 30 mit Struktur-Annotationen 44, die das Vorliegen einer Strukturauffälligkeit 34 anzeigen, bestimmen.
Die Merkmale 50 der detektierten Strukturauffälligkeiten 34 des räumlich ausgedehnten Objekts 48 können dabei einen oder mehrere Typen von Strukturauffälligkeiten 34 und/oder Beschaffenheitsmerkmale umfassen.
Typen von Strukturauffälligkeiten 34 können Defekte aus der Gruppe von Defektarten umfassend Lunker, Porositäten, Poren, Kaltlauf, Kernbruch, Sandreste, Risse, Einschlüsse, Kratzer, Blasen stammen. Die Beschaffenheitsmerkmale können aus der Gruppe von Merkmalen 50 der räumlichen Ausdehnung oder des Aussehens von Strukturauffälligkeiten 44 umfassend Größe, Ort, Volumen, Fläche, Oberfläche, Durchmesser, Umfang, Form, Art, Anzahl, Konfiguration, Schwerpunkt, Kompaktheit, Abstand, Verteilung, Dichte, Gitterpunktwertverteilungen, Momente von Gitterpunktwertverteilungen stammen.
Anhand dieses Verfahrens kann ein räumlich ausgedehntes Objekt 48, z. B. ein Bauteil, vermessen werden.
Eine Vorrichtung zum Vermessen von Strukturauffälligkeiten 34 in Form von Defekten eines Bauteils enthält einen Computertomographen für das Ermitteln eines CT-Datensatzes zu dem Bauteil und eine Rechnereinheit, die ein Computerprogramm zum Vermessen von Defekten des Bauteils aufweist.
Anhand der gleichen Vorrichtung können Trainingsdaten 32 für ein maschinelles Lernverfahren 46 generiert werden.
Zusammenfassend ist insbesondere folgendes festzuhalten: Die Erfindung betrifft ein Verfahren 10, das zur Generierung von Trainingsdaten 32 für ein maschinelles Lernverfahren 46, das zum Bestimmen von Merkmalen 50 von Strukturauffälligkeiten 34 eines räumlich ausgedehnten Objekts 48 dient. Dabei werden Daten 42 auf wenigstens einem mindestens dreidimensionalen Gitter 28 mit Gitterpunkten 30 bereitgestellt, indem den Gitterpunkten 30 jeweils Skalare oder Vektoren mit Vektorkomponenten aus der Gruppe umfassend Grauwerte, Farbwerte, Feature-Werte, Filterantworten derart als Gitterpunktwerte zugeordnet werden, dass an wenigstens einem Gitterpunkt 30 eine Gitterpunktwert-Anomalie 36 und an wenigstens einem weiteren Gitterpunkt 30 keine Gitterpunktwert-Anomalie 36 vorliegt. Es wird das Vorliegen einer Gitterpunktwert-Anomalie 36 der Daten 42 an einem Gitterpunkt 30 anzeigenden Anomalie-Annotation 38 für wenigstens einen Teil der Gitterpunkte 30 ermittelt, wobei die Anomalie-Annotation 38 an wenigstens einem Gitterpunkt 30 das Vorliegen einer Gitterpunktwert-Anomalie 36 und an wenigstens einem weiteren Gitterpunkt 30 das Nicht-Vorliegen einer Gitterpunktwert-Anomalie 36 anzeigt. Weiterhin wird wenigstens eine Interessenregion 40 in Form einer räumlich zusammenhängenden Menge des wenigstens einen Teils der Gitterpunkte 30 bestimmt, auf der die Anomalie-Annotation 38 an wenigstens einem Gitterpunkt 30 in der Interessenregion 40 das Vorliegen einer Gitterpunktwert-Anomalie 36 und an wenigstens einem weiteren Gitterpunkt 30 in der Interessenregion 40 das Nicht-Vorliegen einer Gitterpunktwert-Anomalie 36 anzeigt. Es wird wenigstens eine Kostenfunktion bestimmt, welche Informationen umfassend Gitterpunktwerte und/oder Anomalie-Annotationen 38 in der wenigstens einen Interessenregion 40 und eine das Vorliegen einer Strukturauffälligkeit 34 an einem Gitterpunkt 30 anzeigende Struktur-Annotation 44 für wenigstens einen Teil der Gitterpunkte 30 verknüpft. Es werden außerdem Struktur-Annotationen 44 für den wenigstens einen Teil der Gitterpunkte 30 anhand deren Gitterpunktwerten und/oder Anomalie-Annotationen 38 durch Optimieren der Kostenfunktion berechnet, und es werden Trainingsdaten 32 für das maschinelle Lernverfahren 46 in Form von wenigstens einem Teil der Daten mit Annotationen aus der Menge umfassend Struktur-Annotationen 44 und Anomalie-Annotationen 38 ausgewählt.
Bezugszeichenliste

10, 10', 10'', 10''': Verfahren
12: Verfahrensschritt: Bereitstellen von Daten
14: Verfahrensschritt: Ermitteln von Anomalie-Annotationen
16: Verfahrensschritt: Bestimmen von Interessenregionen
18: Verfahrensschritt: Bestimmen einer Kostenfunktion
20: Verfahrensschritt: Berechnen von Struktur-Annotationen
22: Verfahrensschritt: Training maschinelles Lernverfahren
24: Verfahrensschritt: Berechnen von Strukturauffälligkeiten aus Struktur-Annotationen
26: Verfahrensschritt: Bestimmen von Merkmalen der Strukturauffälligkeiten
28: Gitter
30: Gitterpunkt
32: Trainingsdaten
34: Strukturauffälligkeit
36: Gitterpunktwert-Anomalie
38: Anomalie-Annotation
40: Interessenregion
42: Daten
44, 44', 44'': Struktur-Annotation
46: maschinelles Lernverfahren
48: räumlich ausgedehntes Objekt
50: Merkmale von Strukturauffälligkeiten
52: Verfahrensschritt: Ermitteln von Relevanz-Annotationen
54: Relevanz-Annotationen
56: Verfahrensschritt: Ermitteln von Referenzdaten
58: Referenzdaten als CAD-Modell
60: Verfahrensschritt: Auswählen von Trainingsdaten
62: Koordinatensystem
63: Iteration der Schritte des Bestimmens der Kostenfunktion und des Berechnens der Struktur-Annotationen
66: Markierungswerkzeug
68: Hauptachsen-Querschnitte
70: Navigationsansicht
72: Schichten eines neuronalen Netzwerks
74: Neuron
76: Kantengewicht
421, 422: Datensatz

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015114015 A1 [0014, 0015]
US 2005163278 A1 [0017]
WO 2016038604 A1 [0018]

Zitierte Nicht-Patentliteratur

„Data Domain Description by Support Vectors, D.M.J. Tax, R.P.W Duin, Proceedings ESANN, 1999, S. 251 - 256” [0034]
„Spatially Varying Color Distributions for Interactive Multilabel Segmentation, Claudia Nieuwenhuis, Daniel Cremers, Transactions on Pattern Analysis and Machine Intelligence, Band 35, 2013" [0064]
„Histograms of Oriented Gradients for Human Detection, N. Dalal, B. Triggs, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2005" [0106]

Claims

Verfahren (10) zur Generierung von Trainingsdaten (32) für ein maschinelles Lernverfahren (46), das zum Bestimmen von Merkmalen (50) von Strukturauffälligkeiten (34) eines räumlich ausgedehnten Objekts (48) dient, mit den folgenden Schritten: einen Schritt (12) des Bereitstellens von Daten (42) auf wenigstens einem mindestens dreidimensionalen Gitter (28) mit Gitterpunkten (30), indem den Gitterpunkten (30) jeweils Skalare oder Vektoren mit Vektorkomponenten aus der Gruppe umfassend Grauwerte, Farbwerte, Feature-Werte, Filterantworten derart als Gitterpunktwerte zugeordnet werden, dass an wenigstens einem Gitterpunkt (30) eine Gitterpunktwert-Anomalie (36) und an wenigstens einem von dem Gitterpunkt (30) verschiedenen weiteren Gitterpunkt (30) keine Gitterpunktwert-Anomalie (36) vorliegt; einen Schritt (14) des Ermittelns einer das Vorliegen einer Gitterpunktwert-Anomalie (36) der Daten (42) an einem Gitterpunkt (30) anzeigenden Anomalie-Annotation (38) für wenigstens einen Teil der Gitterpunkte (30), wobei die Anomalie-Annotationen (38) zu den Gitterpunkten (30) an wenigstens einem Gitterpunkt (30) das Vorliegen einer Gitterpunktwert-Anomalie (36) und an wenigstens einem von dem Gitterpunkt (30) verschiedenen weiteren Gitterpunkt (30) das Nicht-Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigen; einen Schritt (16) des Bestimmens wenigstens einer Interessenregion (40) in Form einer räumlich zusammenhängenden Menge des wenigstens einen Teils der Gitterpunkte (30), auf der die Anomalie-Annotation (38) an wenigstens einem Gitterpunkt (30) in der Interessenregion (40) das Vorliegen einer Gitterpunktwert-Anomalie (36) und an wenigstens einem von dem Gitterpunkt (30) verschiedenen weiteren Gitterpunkt (30) in der Interessenregion (40) das Nicht-Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigt; einen Schritt (18) des Bestimmens wenigstens einer Kostenfunktion, welche Informationen umfassend Gitterpunktwerte und/oder Anomalie-Annotationen (38) in der wenigstens einen Interessenregion (40) und eine das Vorliegen einer Strukturauffälligkeit (34) an einem Gitterpunkt (30) anzeigende Struktur-Annotation (44) für wenigstens einen Teil der Gitterpunkte (30) verknüpft; einen Schritt (20) des Berechnens von Struktur-Annotationen (44) für den wenigstens einen Teil der Gitterpunkte (30) anhand deren Gitterpunktwerten und/oder Anomalie-Annotationen (38) durch Optimieren der Kostenfunktion; und einen Schritt des Auswählens von Trainingsdaten (32) für das maschinelle Lernverfahren (46) in Form von wenigstens einem Teil der Daten (42) mit Annotationen aus der Menge umfassend Struktur-Annotationen (44) und Anomalie-Annotationen (38).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die wenigstens eine Interessenregion (40) dieselbe räumliche Dimension wie die des wenigstens einen Gitters (28) der Daten (42) aufweist und/oder dass in dem Schritt (20) des Berechnens der Struktur-Annotationen (44) für wenigstens einen Teil der Gitterpunkte (30) diese Struktur-Annotationen (44) in der wenigstens einen Interessenregion (40) berechnet werden und/oder dass die wenigstens eine Kostenfunktion anhand von Abständen von Gitterpunkten (30) bestimmt wird und/oder dass die wenigstens eine Kostenfunktion ein maschinelles Lernverfahren (46), eine Statistik, einen Wertevergleich und/oder dass die wenigstens eine Kostenfunktion zusätzliche Annahmen und/oder Nebenbedingungen betreffend die Beschaffenheit der Strukturauffälligkeiten (34) aus der Gruppe umfassend Größe, Ort, Volumen, Fläche, Oberfläche, Durchmesser, Umfang, Form, Anzahl, Art, Konfiguration, Schwerpunkt, Kompaktheit, Abstand, Verteilung, Gitterpunktwertverteilung, Momente von Gitterpunktwertverteilungen beinhaltet und/oder dass die Schritte (18) des Bestimmens der wenigstens einen Kostenfunktion und (20) des Berechnens der Struktur-Annotationen (44) iteriert werden, wobei die wenigstens eine Kostenfunktion bei jeder Iteration anhand der berechneten Struktur-Annotationen (44) angepasst wird und/oder dass wenigstens zwei unterschiedliche Kostenfunktionen zur Ermittlung der Struktur-Annotationen (44) bestimmt werden und/oder dass in dem Schritt (16) des Bestimmens der wenigstens einen Interessenregion (40) diese so ausgewählt wird, dass die Anomalie-Annotation (38) von wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte (30) das Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigt und von wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte (30) darin das Nicht-Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigt und/oder dass in dem Schritt (60) des Auswählens von Trainingsdaten (32) die Struktur-Annotationen (44) wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte (30) darin das Vorliegen einer Strukturauffälligkeit (34) und wenigstens 35% ± 15% und höchstens 65% ± 15% der Gitterpunkte (30) darin das Nicht-Vorliegen einer Strukturauffälligkeit (34) anzeigen und/oder dass in dem Schritt (20) des Berechnens von Struktur-Annotationen (44) den Struktur-Annotationen (44) derjenigen Gitterpunkte (30), die nicht zu der wenigstens einen Interessenregion (40) gehören, ein Wert für das Nicht-Vorliegen einer Strukturauffälligkeit (34) zugewiesen wird und/oder dass es sich bei den Daten (42) um CT-Daten handelt und/oder dass die wenigstens eine Kostenfunktion unter Verwendung von Anwendereingaben bestimmt wird, wobei ein Anwender über eine Anwenderschnittstelle für Gitterpunkte (30) der wenigstens einen Interessenregion (40), deren Daten (42) und/oder Anomalie-Annotationen (38) an einem Bildschirm zur Anzeige gebracht werden, das Vorliegen einer Strukturauffälligkeit (34) oder das Nicht-Vorliegen einer Strukturauffälligkeit (34) markiert oder alternativ hierzu dass die wenigstens eine Kostenfunktion automatisch anhand von Gitterpunktwerten der Daten (42) an wenigstens einem Gitterpunkt (30) aus einer ersten Gruppe von Gitterpunkten (30), die innerhalb der wenigstens einen Interessenregion (40) liegen und deren Anomalie-Annotation (38) das Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigt, und anhand von Gitterpunktwerten der Daten (42) an wenigstens einem Gitterpunkt (30) aus einer zweiten Gruppe von Gitterpunkten (30), die innerhalb der wenigstens einen Interessenregion (40) liegen und deren Anomalie-Annotation (38) das Nicht-Vorliegen einer Gitterpunktwert-Anomalie (36) anzeigt, und/oder anhand von Abständen von Gitterpunkten (30) innerhalb der Interessenregionen (40) zu der ersten und/oder zweiten Gruppe bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in einem weiteren Verfahrensschritt (52) eine die Relevanz der Daten (42) für das maschinelle Lernverfahren (46) an einem Gitterpunkt (30) anzeigenden Relevanz-Annotationen (54) für wenigstens einen Teil der Gitterpunkte (30) ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch einen Verfahrensschritt (56) des Ermittelns von Referenzdaten (58) zu den Daten (42), die Informationen über die Gitterpunktwerte an den Gitterpunkten (30) der Daten (42) bei Abwesenheit von Gitterpunktwert-Anomalien (36) enthalten.
Maschinelles Lernverfahren (46) für das Erkennen, insbesondere das Segmentieren, von Strukturauffälligkeiten (34) eines räumlich ausgedehnten Objekts (48), das anhand der in einem Verfahren nach einem der Ansprüche 1 bis 4 generierten Trainingsdaten (32) trainiert ist.
Verfahren zum Bestimmen von Merkmalen (50) von Strukturauffälligkeiten (34) eines räumlich ausgedehnten Objekts (48), das für das Erkennen der Strukturauffälligkeiten (34) ein maschinelles Lernverfahren (46) nach Anspruch 5 verwendet und das in einem Schritt (24) Struktur-Annotationen (44) für die Gitterpunkte (30) des räumlich ausgedehnten Objekts (48) anhand des maschinellen Lernverfahrens (46) berechnet und das in einem weiteren Schritt (26) Merkmale (50) von räumlich zusammenhängenden Mengen von Gitterpunkten (30) mit Struktur-Annotationen (44), die das Vorliegen einer Strukturauffälligkeit (34) anzeigen, bestimmt.
Verfahren zum Vermessen von Defekten eines räumlich ausgedehnten Objekts (48), bei dem mit einem Verfahren nach Anspruch 6 Defekte in Form von Strukturauffälligkeiten (34) bestimmt werden und als Merkmal (50) dieser Strukturauffälligkeiten (34) eine räumliche Ausdehnung bestimmt wird.
Computerprogrammprodukt mit einem Computerprogramm mit Programmcode zur Durchführung aller Verfahrensschritte, die in einem der Ansprüche 1 bis 7 angegeben sind, wenn das Computerprogramm in eine Rechnereinheit geladen und/oder in einer Rechnereinheit durchgeführt wird.
Vorrichtung zum Vermessen von Defekten eines in einem Objektraum angeordneten räumlich ausgedehnten Objekts (48) mit einem Computertomographen für das Ermitteln eines CT-Datensatzes zu dem räumlich ausgedehnten Objekt (48) und mit einer Rechnereinheit, die ein Computerprogramm zum Vermessen von Defekten des räumlich ausgedehnten Objekts (48) nach Anspruch 7 enthält.
Vorrichtung zur Generierung von Trainingsdaten (32) für ein maschinelles Lernverfahren (46) mit einem Computertomographen für das Ermitteln eines CT-Datensatzes zu einem in einem Objektraum angeordneten räumlich ausgedehnten Objekt (48) und mit einer Rechnereinheit, in die ein Computerprogramm mit Programmcode zur Durchführung aller Verfahrensschritte geladen ist, die in einem der Ansprüche 1 bis 4 angegeben sind.