DE102006004417A1 - Verfahren zum unbeaufsichtigten Training eines nicnt-linearen und nicht-lokalen Filters - Google Patents

Abstract

Die Erfindung befasst sich mit einem Verfahren zum unbeaufsichtigten Training eines nicht-linearen und nicht-lokalen Filters mittels des Medians anhand einer Anzahl M von Gut-Bildern eines Prüfteils, die durch Röntgenstrahlen gewonnen wurden. Erfindungsgemäß sind folgende Schritte vorgesehen: - Auswahl von i zentralen Pixeln C<SUB>i</SUB>; - Bestimmung von R zu jedem zentralen Pixel C<SUB>i</SUB> korrelierten Referenzpixeln R<SUB>ir</SUB>; - Berechnung der linearen Regression für zwei messbare Merkmale mit einem Polynom, das die Werte an der Position des Referenzpixels R<SUB>ir</SUB> entsprechend dem Linienprofil des zentralen Pixels C<SUB>i</SUB> approximiert, bzw. einem Funktional; - Einschränkung des Suchraums auf Regionen besonderen Interesses; - Wahl der Suchstrategie, so dass alle Informationen vorab berechnet werden, die durch einmaligen Zugriff auf alle Pixel der Gut-Bilder berechnet werden können und jedes Pixel einer Klasse gleichen Verhaltens zugeordnet wird und die Suche der Referenzpixel R<SUB>ir</SUB> für alle zentralen Pixel C<SUB>i</SUB> unter Berücksichtigung ihrer Klasse und des Mindestabstands erfolgt und die Koeffizienten der linearen Regression für alle Paare von zentralen Pixeln C<SUB>i</SUB> und korrelierten Referenzpixeln R<SUB>ir</SUB> berechnet werden.

Description

• Die Erfindung befasst sich mit einem Verfahren zum unbeaufsichtigten Training eines nicht-linearen und nicht-lokalen Filters mittels des Medians anhand einer Anzahl M von Gut-Bildern eines Prüfteils, die durch Röntgenstrahlen gewonnen werden.
• Es sind nicht-lokale, nicht-lineare Bildverarbeitungsfilter bekannt. Eines dieser Verfahren ist das so genannte Trained Median Filter (im Folgenden als TMF bezeichnet). Hierbei ist das Filterergebnis für ein gegebenes Pixel der Median aus dem Grauwert dieses Pixels mit den Ergebnissen der Abbildungsfunktionen von hierzu korrelierten Referenzpixeln. Diese Referenzpixel weisen ähnliches Verhalten auf wie das gegebene Pixel bezüglich einer Bildserie von als gut klassifizierten Prüfteilen (im Folgenden als Gut-Bilder bezeichnet). Zur Berechnung des TMF müssen die Referenzpixel und die Parameter der Abbildungsfunktionen zuvor bestimmt werden.
• Bisher wird für jedes Pixel eine vollständige Suche über alle Pixel aller Bilder der Bildserie der Gut-Bilder durchgeführt. Durch Berechnung der entsprechenden Abbildungsfunktionen und deren Vergleich mit dem Wert der einzelnen Pixel werden die Pixel, die die entsprechend eines Abstandsmaßes dem Wert des einzelnen Pixels am nächsten gelegenen Werte besitzen, als Referenzpixel angenommen und die Parameter dieser Abbildungsfunktionen gespeichert. Hierbei wird vorausgesetzt, dass die Gut-Bilder das gesamte Spektrum der Varianzen im Bild aufgrund von Positionierungsungenauigkeiten bereits abdecken.
• Diese vollständige Suche ist sehr rechenzeitintensiv. Für eine vollständige Suche auf Röntgenbildern mit der üblichen vollen Auflösung und Rechenleistung werden Rechenzeiten von bis zu 6 Monaten für ein Bauteil angenommen. Selbst die Re duktion der Bildauflösung führt zu Rechenzeiten von mehreren Stunden auf heutigen Systemen.
• Aufgabe der Erfindung ist es deshalb, ein Verfahren zur Verfügung zu stellen, welches das bekannte TMF unbeaufsichtigt trainiert und das mit bedeutend geringerer Rechenzeit ausgeführt werden kann.
• Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Patentanspruchs 1. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
• Die nähere Ausgestaltung des erfindungsgemäßen Verfahrens sowie der vorteilhaften Weiterbildungen werden anhand eines Ausführungsbeispiels näher dargestellt.
• Die einzige Figur zeigt einen Filterschritt für das TMF. Das TMF bezieht die a priori Informationen aus einer Datenbank, die aus von als gut klassifizierten Prüfteilen aufgenommenen Röntgenbildern besteht (im Folgenden als Gut-Bild-Datenbank bezeichnet). Hiermit wird in einem unbeaufsichtigten Training eine Wissensdatenbank für das echtzeitfähige Online-Filter generiert. Zum besseren Verständnis wird zunächst das Online-Filter-System vorgestellt und die Parameter definiert, die zusätzlich zum Originalbild benötigt werden, um das Idealbild online zu berechnen und die standardmäßige automatische Fehlererkennung anzuwenden.
• Das TMF ist ein nicht-lineares Filter aufgrund des Medians. Der Median bewirkt in einem Bildfilterverfahren die Erhaltung von Kanten bei gleichzeitigem Entfernen von Impulsrauschen bzw. Ausreißern bezüglich der Intensität eines Pixels. Außerdem werden bereits vorhandene Intensitätswerte zurückgegeben im Gegensatz zu durch eine Mittelung potentiell stark verfälschten werten.
• Bildfilterverfahren sind in der Regel von einem rechteckigen gleitenden Filterkern abhängig. Zur Vermeidung von Artefakten wurden verschiedene Ansätze mit unterschiedlich besetzten Filterkernen verwendet. Diese Filter sind lokale Filter.
• Das TMF ist ein nicht-lokales Filter, da es nicht durch einen einheitlichen Filterkern beschränkt wird. Die Abbildung zeigt den prinzipiellen Filterschritt für ein Pixel i. Hierbei wird aus dem zentralen Pixel C_i und aus R über das gesamte Bild verteilten Referenzpixeln R_ir der Median als Filterresultat berechnet. Die Referenzpixel R_ir sind für jedes Pixel i individuell gewählt.
• Jedes der R dedizierten Referenzpixel R_ir weist an seiner Position innerhalb der Menge der Gut-Bilder ähnliches Verhalten bezüglich des jeweiligen zentralen Pixels C_i auf. Hierbei gilt die Annahme, dass die Referenzpixel R_ir und der zentrale Pixel C_i in jedem Röntgenbild des gleichen Prüfteiltyps untereinander korreliert sind. Die online Filterung mit dem TMF ergibt ein Idealbild. Potentielle Fehler an der Position des zentralen Pixels C_i werden durch das TMF restauriert, sofern die Mehrzahl der Referenzpixel R_ir außerhalb eines Fehlers liegt. Daher darf die Anzahl R der dedizierten Referenzpixel R_ir nicht zu gering sein und ihre Positionen sollten möglichst großflächig verteilt sein. Anschließend wird dann die standardmäßige automatische Fehlererkennung durchgeführt.
• Die Filterfunktionen des TMF für jedes Pixel i ergibt sich zu xTMF (i) = median (Ci, Ri1, ..., RiR) (1)
• Für alle M Gut-Bilder soll die mittlere Abweichung des Referenzpixels R_ir zum zentralen Pixel C_i minimal sein. Das Online-Filter benötigt das Originalbild, das in der Filterfunktion der Gleichung (1) mit den konkreten Werten für die zentralen Pixel C_i assoziiert wird. Darüber hinaus muss eine Funktion für die Referenzpixel R_ir definiert werden. Im folgenden Abschnitt wird das Training des TMF beschrieben. Hierbei wird die Wahl der Funktion der Referenzpixel R_ir konkretisiert.
• Ziel des Trainings des TMF ist es, zu jedem zentralen Pixel C_i R hierzu korrelierte Referenzpixel R_ir zu bestimmen. Zur Berechnung des Medians gemäß Gleichung (1) innerhalb der Menge der Gut-Bilder sollten die Werte der Referenzpixel R_ir im idealen Fall gleich dem Wert des zentralen Pixels C_i sein.
• Da jede Position eines Referenzpunktes selbst einmal die Position eines zentralen Pixels C_i ist, sind die Linienprofile bezüglich einer Position in der Menge der Gut-Bilder für Referenzpunkte direkt mit dem für einen zentralen Pixel C_i vergleichbar. Die Bestimmung der Funktion der Referenzpixel R_ir führt für jeden zentralen Pixel C_i zu einer vollständigen Suche über alle N Pixel jedes einzelnen Bildes in allen M Gut-Bildern. Mit Hilfe der linearen Regression für zwei messbare Merkmale ergibt sich mit einem Polynom 1. Grades als Abbildungsfunktion eine Regressionsgerade Rir = airx + bir (2)
• Allgemein kann hier auch ein Polynom höherer Ordnung bzw. ein Funktional eingesetzt werden, das die Werte an der Position des Referenzpixels R_ir entsprechend dem Linienprofil des zentralen Pixels C_i approximiert. Die Wissensdatenbank des unbeaufsichtigten Trainings des TMF besteht daher im Wesentlichen aus den Positionen der Referenzpixel R_ir und den Koeffizienten a und b der Regressionsgeraden der Referenzpixel R_ir gemäß Gleichung (2).
• Zur Berechnung der linearen Regression ist bisher wie oben erwähnt eine vollständige Suche nötig. Abschätzungen ergaben für das Training des TMF einen Rechenzeitaufwand für 512×512×16-Bit-Bilder von circa sechs Monaten für ein Prüfobjekt mit mehreren Prüfpositionen. Ein Hauptziel ist daher, die Berechnung der Parameter der Wissensdatenbank effizient und zeitnah durchzuführen, so dass das Training nicht länger als eine Stunde bzw. besser nur wenige Minuten oder Sekunden dauert. Hierzu dienen folgende Maßnahmen.
• Am naheliegendsten ist die Begrenzung des Suchraums durch Regionen von besonderem Interesse (Regions of Interest = ROI). Hierdurch wird die Anzahl der Pixel pro Bild deutlich reduziert. Dabei kann die ROI für die Referenzpixel R_ir eine andere sein als die ROI für die zentralen Pixel C_i auf denen die Filterung durchgeführt wird.
• Damit sichergestellt wird, dass die Referenzpixel R_ir gleichmäßig über das Bild verteilt werden und nicht alle Referenzpixel R_ir in einer Region eines Fehlers liegen, wird für die Abstände zum zentralen Pixel C_i und für die Abstände der Referenzpixel R_ir untereinander ein Mindestabstand definiert. Dadurch reduziert sich erneut die Anzahl der in Frage kommenden Pixel als Referenzpixel.
• Durch die Reduzierung der Anzahl der Gut-Bilder auf wenige ausgewählte mit charakteristischen Positionierungsungenauigkeiten wird der Suchraum und die Anzahl zu berechnender Pixel weiter eingeschränkt. Allerdings wird bei einer zu geringen Anzahl von Gut-Bildern die Berechnung der Koeffizienten der Regressionsgeraden ungenauer. Dadurch wird das charakteristische Verhalten des Prüfsystems insbesondere des Manipulators nicht genau genug modelliert und Pseudodetektionen werden wahrscheinlicher. Für das Training des TMF ist es daher wichtig, dass nur Röntgenbilder mit einem vollständig installierten Prüfsystem akquiriert werden, wie sie später auch im Prüfprozess zur Verfügung stehen. In der Praxis hat sich ein Wert von 25–50 Gut-Bildern bewährt.
• Nachdem durch die oben beschriebenen Methoden der Suchraum eingeschränkt wurde, wird nun die Suchstrategie gewählt. Hierbei sollten die Bilddatenzugriffe so gering wie möglich sein und die Berechnung der Koeffizienten der Regressionsge raden sollte möglichst nur für die tatsächlichen Referenzpixel R_ir ausgeführt werden.
• Hieraus werden folgende Schritte abgeleitet:
• 1. Berechne alle Informationen vorab, die durch einmaligen Zugriff auf alle Pixel der Gut-Bilder berechnet werden können.
• 2. Ordne jedes Pixel einer Klasse gleichen Verhaltens zu.
• 3. Suche die Referenzpixel R_ir für alle zentralen Pixel C_i unter Berücksichtigung ihrer Klasse und des Mindestabstands.
• 4. Berechne die Koeffizienten a, b der Regressionsgerade für alle C_i- und R_ir-Paare.
• Im ersten Schritt werden zum Beispiel die Summe, die Minima und Maxima für jedes Pixel und die Ableitungen der Bildfunktionen der Gut-Bilder für die Bildserie berechnet und in einer indizierten Tabelle (Lookup-Table = LUT) abgelegt. Zu einem späteren Zeitpunkt erfolgt ein Zugriff dann per Laufindex auf die benötigten Daten, ohne dass ein erneuter Bildzugriff nötig wäre.
• Speziell zur Berechnung der Koeffizienten werden die Summen über alle M Gut-Bilder für jedes Pixel benötigt. Dabei wird für die Summe eines zentralen Pixels oder für die Summe eines Referenzpixels nur eine einzige indizierte Tabelle verwendet, die die Größe eines einzelnen Gut-Bildes besitzt.
• Eine Vorklassifikation bezüglich der Pixelposition wird im zweiten Schritt durchgeführt. Hierbei wird der N × M große Suchraum auf einen N-elementigen Suchraum mit diskreten Klassen abgebildet, die durch die positiven natürlichen Zahlen repräsentiert werden können.
• Für Pixel der gleichen Klasse wird bezüglich der Position und des Rauschens ähnliches Verhalten innerhalb der Menge der Gut-Bilder angenommen.
• Die Zugehörigkeit zu einer Klasse wird durch die Berechnung von Merkmalen bestimmt. Als Merkmal eignet sich hier ein pixelbasiertes Maß der Varianz über die Menge der Gut-Bilder. Hierbei gilt die Annahme, dass der Wert eines zentralen Pixels am besten durch den Wert eines Referenzpixels modelliert werden kann, wenn sich die Varianz bezüglich der Menge der Gut-Bilder der beiden Werte im gleichen Bereich befindet. Mit Hilfe des Minimum- und Maximumwertes an einer bestimmten Pixelposition lässt sich die so genannte normierte Bandbreite des Pixelwertes bestimmen.
• Die Auswirkungen der Positionierungsungenauigkeiten sind abhängig von den Vorzeichen des Gradienten auf dem das zu betrachtende Pixel liegt. Das Vorzeichen ist für eine Pixelposition bezogen auf die Menge der Gut-Bilder variabel. Für die zuvor berechneten Maxima und Minima der Bildserie wird jeweils der Gradient G_max und G_min berechnet. Hieraus wird als weiteres Merkmal der dominierende Gradient G_d ∊ {–1, 0, 1} definiert, wobei

  
• Dieser wird jeweils für die horizontale und die vertikale Richtung sowie für die diagonalen Richtungen bestimmt.
• Die beiden genannten Merkmale bilden die Grundlage der Vorklassifikation des Trainings des TMF. Weitere Merkmale, die zum Beispiel den Grauwert oder die 2. Ableitung berücksichtigen, können analog zu den oben beschriebenen ergänzt werden.
• Zur Klassifikation werden die Merkmale kombiniert. Die Klassen werden direkt aus den Merkmalen kodiert. Dazu werden weder rechenzeitintensive Vergleichsoperationen noch Schwellwerte benötigt. Für die dominierenden Gradienten der vier Richtungen gibt es 3⁴ = 81 verschiedene Kombinationen. Die Anzahl V > 0 der Quantisierungsstufen der normalisierten Bandbreite ist frei wählbar. Durch die Kombination der beiden Merkmale ist die Kodierung von K = 81·V (4)verschiedenen Klassen möglich, wobei K kleiner sein sollte als der Wertebereich der betrachteten Röntgenbilder. Die Reihenfolge der Kombination entscheidet über die Ordnung der Klassen. Für den Fall, dass zum Schluss durch die Bandbreite gewichtet wird, enthalten Klassen niedrigerer Ordnungszahl nur Pixelpositionen, deren Werte sehr zuverlässig bzw. konstant sind. Klassen höherer Ordnungszahl enthalten dagegen die unsicheren Kandidaten mit Werten hoher Varianz. Mit einer oberen Schranke können mit Hilfe der Pixelpositionen der entsprechenden Klassen vertrauenswürdige Regionen von unsicheren Regionen getrennt werden. Hierdurch wird automatisch eine neue ROI berechnet, die den Suchraum einschränkt bzw. das Online-Filter beschleunigt.
• Die Einteilung in Klassen bringt zudem programmtechnische Vorteile, die sich auf die Effizienz bezüglich der Rechenzeit positiv auswirken. Zu der indizierten Tabelle der Klassenverteilung werden die Indizes des ersten Vorkommens jeder Klasse abgespeichert. Außerdem wird eine weitere indizierte Tabelle angelegt, die für jede Pixelposition den Abstand zum nächsten Pixel derselben Klasse bereithält. Auf diese Weise ist es möglich, entweder gezielt das erste Pixel einer bestimmten Klasse anzuspringen oder eine beliebige Pixelposition auszuwählen und von dort alle Mitglieder derselben Klasse zu erreichen. Hierbei sind keine Vergleichs- bzw. Suchoperationen nötig.
• Der dritte Schritt ergibt sich aus den vorangegangenen durch das systematische Durchlaufen der einzelnen Klassen der Klassenhierarchie unter Beachtung der Mindestabstände. Auf diese Weise kann eine beliebige Anzahl R von Referenzpixeln R_ir zu einem zentralen Pixel C_i einer bestimmten Klasse bestimmt werden. Für den Fall, dass es weniger Mitglieder einer Klasse gibt als gesuchte Referenzpixel R_ir, werden die vorhandenen Mitglieder mehrfach aufgenommen.
• Ebenso wird eine ROI durch den R-fachen Verweis auf das zentrale Pixel C_i selbst anstelle von Referenzpixeln R_ir kodiert. Hierdurch ist die ROI direkt in der indizierten Tabelle der Positionen der Referenzpixel R_ir enthalten. Bei der späteren Median-Filterung mit anschließender automatischer Fehlererkennung führt dies zur Auslöschung der Pixel außerhalb der ROI, so dass für das Online-Filter des TMF vorab die ROI nicht explizit bekannt sein muss.
• Abschließend werden im vierten Schritt die Koeffizienten der Regressionsgeraden für jedes zentrale Pixel C_i und seine dedizierten Referenzpixel R_ir berechnet. Die Parameter der Wissensdatenbank sind dadurch vollständig erfasst und die Datenbank wird dem Online-Filter des TMF zur Verfügung gestellt. Das Online-Filter berechnet für die zentralen Pixel eines Originalbildes die Werte der Referenzpixel R_ir gemäß Gleichung (2) und gibt als Resultat das Ergebnis der Medianoperation gemäß Gleichung (1) zurück. Hieran schließt sich die standardmäßige automatische Fehlererkennung mittels Differenzbildberechnung aus Ideal- und Originalbild an.
• Das unbeaufsichtigte Training des TMF lässt sich auf einem Intel Pentium IV, 2 GHz, für eine Bildserie aus digitalen 512 × 512 16 Bit großen Röntgenbildern in ca. 6 Sekunden durchführen, wenn die oben ausgeführte Einschränkung des Suchraums und die bestimmte Suchstrategie durchgeführt wird. Die Qualität der Abbildungsfunktion kann hierbei durch die Erhöhung der Parameteranzahl noch weiter verbessert werden.
• Bezeichnungen

• C_i

  Wert des zentralen Pixels

  R_ir

  Funktional eines Referenzpixels, sein Wert soll C_i approximieren

  V

  Anzahl der Klassen der normierten Bandbreite

  K

  Anzahl aller diskreten Klassen ähnlichen Verhaltens bezüglich der Positionierungsvarianzen

  G_min

  Gradientbild des Minimumbilds

  G_max

  Gradientbild des Maximumbilds

  G_d

  dominierender Gradient

  a

  multiplikativer Koeffizient der Regressionsgeraden

  b

  additiver Koeffizient der Regressionsgeraden

Claims (10)

1. Verfahren zum unbeaufsichtigten Training eines nichtlinearen und nicht-lokalen Filters mittels des Medians anhand einer Anzahl M von Gut-Bildern eines Prüfteils, die durch Röntgenstrahlen gewonnen wurden, mit folgenden Schritten: – Auswahl von i zentralen Pixeln C_i; – Bestimmung von R zu jedem zentralen Pixel C_i korrelierten Referenzpixeln R_ir; – Berechnung der linearen Regression für zwei messbare Merkmale mit einem Polynom, das die Werte an der Position des Referenzpixels R_ir entsprechend dem Linienprofil des zentralen Pixels C_i approximiert, bzw. mit einem Funktional; – Einschränkung des Suchraums auf Regionen besonderen Interesses; – Wahl der Suchstrategie, so dass alle Informationen vorab berechnet werden, die durch einmaligen Zugriff auf alle Pixel der Gut-Bilder berechnet werden können, und jedes Pixel einer Klasse gleichen Verhaltens zugeordnet wird, und die Suche der Referenzpixel R_ir für alle zentralen Pixel C_i unter Berücksichtigung ihrer Klasse und des Mindestabstands erfolgt, und die Koeffizienten der linearen Regression für alle Paare von zentralen Pixeln C_i und korrelierten Referenzpixeln R_ir berechnet werden.
2. Verfahren nach dem vorstehenden Patentanspruch, dadurch gekennzeichnet, dass die Region besonderen Interesses für die Referenzpixel R_ir eine andere ist als diejenige für die zentralen Pixel C_i, auf denen die Filterung durchgeführt wird.
3. Verfahren nach einer der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass die Berechnung der Koeffi zienten nur für die tatsächlichen Refernzpixel R_ir ausgeführt wird.
4. Verfahren nach einem der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass die Vorabberechnung der Informationen die Summe, die Minima und Maxima für jedes Pixel und die Ableitungen der Bildfunktionen der Gut-Bilder umfasst und diese in einer indizierten Tabelle abgelegt werden.
5. Verfahren nach einem der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass die Zugehörigkeit zu einer Klasse anhand eines pixelbasierten Maßes der Varianz über die Menge der Gut-Bilder bestimmt wird.
6. Verfahren nach einem der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass der dominierende Gradient jeweils für die horizontale Richtung, die vertikale Richtung und die diagonalen Richtungen bestimmt wird.
7. Verfahren nach einem der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass eine gleichmäßige Verteilung der Referenzpixel R_ir erfolgt, indem ein Mindestabstand zwischen den Referenzpixeln R_ir untereinander und zu dem jeweiligen zentralen Pixel C_i vorgegeben wird.
8. Verfahren nach einem der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass, wenn weniger Mitglieder einer Klasse vorhanden sind als gesuchte Referenzpixel R_ir, die vorhandenen Mitglieder mehrfach aufgenommen werden.
9. Verfahren nach einem der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass für die zentralen Pixel C_i eines Originalbildes die Werte der Referenzpixel R_ir berechnet werden und als Resultat der Medianoperation zurückgegeben werden.
10. Verfahren nach einem der vorstehenden Patentansprüche, dadurch gekennzeichnet, dass sich eine automatische Fehlererkennung mittels Differenzbildberechnung aus dem zuvor berechneten Idealbild und dem Originalbild anschließt.