-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs.
-
In der Lasermaterialbearbeitung werden Werkstücke mittels fokussierter Laserstrahlung gefügt, wobei Prozessüberwachungssysteme und Sensoren eingesetzt werden. Für die Überwachung des Schweißprozesses werden beispielsweise Sensoren zur Erfassung der aus einer durch den Arbeitsfokus bestimmten Arbeits- oder Wechselwirkungszone kommenden Strahlung eingesetzt. Beispielsweise werden zur Überwachung des Laserbearbeitungsvorgangs Temperaturfühler oder Infrarotsensoren eingesetzt, durch die eine Randaufschmelzung und das Temperaturprofil bei der Bearbeitung überwacht werden können. Neben dem Einsatz von Fotodioden, welche jeweils für einen bestimmten Wellenlängenbereich sensitiv sind, wird der Laserbearbeitungsvorgang teilweise auch durch Kameras überwacht, welche ebenfalls in vorbestimmten Wellenlängenbereichen sensitiv sein können. Aufgrund der Bildverarbeitung der durch die Kameras aufgenommenen Bilder können ebenfalls Kennwerte zur Überwachung des Laserbearbeitungsvorganges, wie beispielsweise Parameter hinsichtlich des aufgeschmolzenen Werkstückbereiches, erhalten werden. Hiermit soll die Entstehung von Fehlern in einer Schweißnaht detektiert werden.
-
Auf Fotodioden basierte Detektionssysteme arbeiten zumeist mit mehreren, unterschiedlich spektral und/oder räumlich gefilterten Detektoren, wobei eine Abtastung im mittleren Kilohertz-Bereich erfolgt. Die Auswertung basiert bei einem Großteil der Detektionssysteme auf einem Vergleich mit vorab generierten Gut-Signalen, d. h. den Signalverläufen einer oder mehrerer als gut definierter Schweißungen. Auch Frequenzanalysen und darauf aufbauende Auswertungen sowie merkmalsbasierte Klassifikationen kommen zum Einsatz.
-
Prozessüberwachungssysteme, welche Kameras nutzen, werden häufig als räumlich aufgelöste Fotodioden genutzt. Die Aufnahme- und Analyserate der Systeme liegt zumeist bei einigen 100 Hz, die Größe der aufgenommenen Bilder zwischen 64 und 265 Pixel Kantenlänge. Aufgrund der höheren erzielbaren Intensitätsdynamik finden üblicherweise CMOS-Kameras Verwendung. Ausgewertet wird in der Regel der zeitliche Verlauf der Gesamtintensität oder eines Intensitätsprofils verschiedener Bildbereiche. Teilweise werden auch Histogrammverläufe oder Grauwert-Geometrien analysiert.
-
Die niedrige Aufnahmerate von Kameras im Vergleich zu Fotodioden, die geringe Bildgröße und eine vergleichsweise einfache Bildauswertungsalgorithmik sind hauptsächlich der bei der Aufnahme erzeugten hohen Datenmenge geschuldet. Zur Steigerung der Aufnahmegeschwindigkeit werden unter anderem intelligente Kameras erprobt, die eine Vor- bzw. Komplettverarbeitung der anfallenden Bilddaten in Hardware direkt in der Kamera ermöglichen.
-
Ziel der Überwachungssysteme ist es, die Bearbeitungsqualität gemäß einer Prozessvorgabe zu klassifizieren. In aktuellen Industriesystemen werden die zur Prozessüberwachung eingesetzten Sensoren und Kameras dazu verwendet, mittels der erfassten Sensordaten und mittels Methoden der Bildverarbeitung und Datenanalyse eine Klassifizierung des aktuellen Standes des Bearbeitungsprozesses durchzuführen. Hierbei werden die eingesetzten Verfahren auf Bearbeitungsprozesse individuell eingestellt. Bei einer Intensitätsabweichung der aufgezeichneten Sensordaten wird beispielsweise ein aktueller Bearbeitungsprozess als ungenügend klassifiziert.
-
Bislang ist es erforderlich, jeden Prozess (d. h. Laserbearbeitungsvorgang) zunächst individuell manuell einzustellen. Nach einer Einstellung der Prozessparameter wird hierbei der Prozess nur beobachtet und entsprechend manuell angepasst. Für den Fall, dass eine nächste zu bearbeitende Charge an Werkstücken beispielsweise verschmutzt ist oder hinsichtlich der Werkstückdicke oder -beschaffenheit von der vorhergehenden Charge an Werkstücken abweicht, muss der Prozess häufig manuell nachgestellt werden. Eine automatische Adaption an Prozessänderungen zur Detektion guter und schlechter Schweißvorgänge war bislang entweder überhaupt nicht oder nur in sehr geringem Umfang möglich.
-
Aus der
DE 10 2008 058 422 A1 ist ein Verfahren zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs, bei dem die Prozessumgebung erlernt und ein aktuelles Prozessergebnis klassifiziert wird, bekannt. Dabei wird der Laserbearbeitungsvorgang auch durch eine Kamera überwacht, deren Beobachtungsstrahlengang koaxial in den Strahlengang des Arbeitslasers eingekoppelt ist, um somit die Bearbeitungszone des Arbeitslasers abzubilden.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorganges mittels einer Kamera derart weiterzubilden, dass auch in dem bearbeiteten Werkstück dynamische Vorgänge zuverlässig hinsichtlich des Auftretens von Fehlern detektiert werden können.
-
Diese Aufgaben werden gelöst durch ein Verfahren gemäß den Merkmalen des Patentanspruches 1 sowie eine Vorrichtung gemäß den Merkmalen des Patentanspruches 16. Vorteilhafte Ausgestaltungen ergeben sich aus den abhängigen Patentansprüchen.
-
Die Erfindung schafft ein Verfahren zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs, bei dem die Prozessumgebung erlernt und ein aktuelles Prozessergebnis klassifiziert wird. Unter der Klassifizierung des aktuellen Prozessergebnisses im Sinne der Erfindung wird hierbei eine binäre Unterscheidung in einen guten Laserbearbeitungsvorgang oder einen schlechten Laserbearbeitungsvorgang unterschieden.
-
Der Schritt des Erlernens der Prozessumgebung umfasst erfindungsgemäß die folgenden Schritte:
Durch eine Kamera wird der Laserbearbeitungsvorgang überwacht und es wird eine Vielzahl von Bildern in zeitlich aufeinander folgender Reihenfolge zur Auswertung bereitgestellt. Hierzu kann eine sog. In-Prozess-Kamera eingesetzt werden, deren Beobachtungsstrahlengang koaxial in den Strahlengang eines Arbeitslasers eingekoppelt ist, um eine Laserbearbeitungszone abzubilden. Wenn in der vorliegenden Beschreibung von Bildern die Rede ist, so sind hierunter Einzelbilder zu verstehen, welche von der Kamera aufgenommen wurden.
-
Für jedes der Bilder wird aus den jeweiligen Bildinformationen eine erste Anzahl an ersten Kennwerten ermittelt, wobei die erste Anzahl an ersten Kennwerten für eine Teilanzahl an Bildern zu einem ersten Kennwertraum zusammengefasst wird, wobei die Teilanzahl an Bildern einen von mehreren Teilen bzw. Abschnitten des Laserschweißvorganges darstellt. Die erste Anzahl an ersten Kennwerten stellt Bildmerkmale dar, wie z. B. die Summe von Helligkeitswerten, ein Mittelwert, ein quadratischer Mittelwert, eine Standardabweichung, ein Median, ein Quantil, eine Schiefe (Skew) eine Wölbung (Curt), ein Maximalwert, ein Minimalwert, eine Anzahl an Maximalwerten, eine Anzahl an Minimalwerten, ein Mode, eine Flaggröße, eine Blitzgröße oder ein Grauwert-Schwerpunkt. Diese ersten Kennwerte werden vorzugsweise, aber nicht zwingend, für das Gesamtbild ermittelt. Die genannten Bildmerkmale beziehen sich auf Helligkeitswerte in einem jeweiligen Bild. Darüber hinaus können CoG-Linien (CoG = Center of Gravity, Grauwertschwerpunkt), jeweils horizontal und vertikal, ermittelt werden. Beispielsweise sind dies eine Linien-Summe, ein Linien-Mittelwert, eine Linien-Standardabweichung, ein Linien-Profilschwerpunkt, eine Standardabweichung des Linien-Profils, eine Schiefe des Linien-Profils oder eine Wölbung des Linien-Profils. Ebenso können Strukturanalysen, wie z. B. Linien-Extrema, eine einfache Ringdetektion oder eine Tracking-Ringdetektion als erste Kennwerte erfasst werden. Allgemein umfasst die erste Anzahl an ersten Kennwerten alle denkbaren Merkmale, auf welche Weise jedes der Bilder ausgewertet werden kann. Die Zusammenfassung der ersten Anzahl an ersten Kennwerten für eine Teilanzahl an Bildern zu einem ersten Kennwertraum bezweckt eine Datenreduktion, um das Überwachungsverfahren später in Echtzeit mit einer hohen Bildabtastrate durchführen zu können.
-
Weiter wird der erste Kennwertraum in einen zweiten Kennwertraum überführt, indem für einen jeweiligen gleichen ersten Kennwert der Teilanzahl an Bildern in dem ersten Kennwertraum zumindest eine statistische Berechnung durchgeführt wird, deren Ergebnis oder Ergebnisse als zweite Kennwerte für den jeweiligen ersten Kennwert in dem zweiten Kennwertraum gespeichert wird. Dieser Schritt bezweckt eine weitere Reduktion der Datenmenge, indem für einen jeweiligen ersten Kennwert, beispielsweise den Mittelwert der Helligkeit der einzelnen Bilder der Teilanzahl an Bildern, wiederum eine statistische Berechnung durchgeführt wird, beispielsweise eine erneute Mittelung oder die Ermittlung einer Standardabweichung, usw.
-
Anschließend wird dem zweiten Kennwertraum basierend auf einer tatsächlichen Beurteilung des Ergebnisses des Laserbearbeitungsvorganges für diesen Teil bzw. Abschnitt des Laserschweißvorganges ein Klassifikationswert zugeordnet. Dies bedeutet, der Teilanzahl an Bildern, welche einen bestimmten Ausschnitt aus dem gesamten Laserbearbeitungsvorgang darstellen, wird eine binäre Gut- oder Schlecht-Entscheidung zugeordnet.
-
Anschließend wird aus einer Mehrzahl an gemäß den vorherigen Schritten klassifizierten, zweiten Kennwerträumen die erste Anzahl an Kennwerten auf eine zweite, im Vergleich kleinere Anzahl an selektierten Kennwerten reduziert, welche zusammen mit den Klassifikationswerten in dem Schritt des Klassifizierens verarbeitet werden.
-
Die oben vorgenommenen, vorbereiteten Schritte ermöglichen eine Berechnung der selektierten Merkmale zunächst unabhängig von einer konkreten Schweißproblematik. Insbesondere wird es hierdurch möglich, einen Schweißprozess in Echtzeit zu überwachen und eine hohe Bildrate zu verwenden, so dass auch dynamische Prozesse des Schweißvorganges hinsichtlich einer Qualität quantifizierbar sind. Eine hohe Bildrate, welche vorzugsweise größer als 4 kHz ist, ermöglicht die Beobachtung sehr „schneller” Fehler, d. h. solcher Fehler, die sich nur kurzzeitig in der Prozessabstrahlung beobachten lassen.
-
Gemäß einer zweckmäßigen Ausgestaltung umfasst die erste Anzahl an ersten Kennwerten Kennwerte, welche für die gesamte, in einem Bild enthaltene Bildinformation und/oder für einen oder mehrere, selektive Bereiche des Bildes ermittelt werden. Die Erfassung von Kennwerten für die gesamte, in einem Bild enthaltene Bildinformation wird dadurch ermöglicht, dass keinerlei Vorwissen über die konkrete Schweißproblemstellung erforderlich ist. Es ist daher auch nicht notwendig, Kenntnis darüber zu haben, in welchen Bereichen des Bildes eventuell Probleme auftreten könnten.
-
Wie oben bereits erläutert, können als erste Kennwerte prinzipiell alle denkbaren Merkmale, welche zur Charakterisierung einer Information in einzelnen Bildern hilfreich sind, ausgewertet werden. Insbesondere ist es zweckmäßig, wenn ein Grauwert-Schwerpunkt des Bildes ermittelt wird und als zumindest ein Kennwert der ersten Anzahl an ersten Kennwerten Analysewerte eines horizontalen und/oder vertikalen Schnitts durch den Grauwert-Schwerpunkt ermittelt werden. Mit der Analyse des Grauwert-Schwerpunkts des Bildes sowie eines oder mehrerer Schnitte durch den Grauwert-Schwerpunkt können weiterführende geometrische Informationen über die Helligkeitsverteilung in einem Bild gewonnen werden. Durch die Beschränkung der Geometrie-Analyse auf den horizontalen und vertikalen Schnitt reduziert sich die benötigte Rechenleistung gegenüber der Analyse aller Bildpixel beträchtlich. Durch die Positionierung im Grauwert-Schwerpunkt eines Bildes wird die Wahrscheinlichkeit erhöht, die deutlichsten geometrischen Merkmale mittels der Linienschnitte zu erfassen.
-
In einer weiteren zweckmäßigen Ausgestaltung wird die erste Anzahl an ersten Kennwerten des ersten Kennwertraums zumindest teilweise auf ein oder mehrere vorgegebene Intervalle normiert. Hierdurch wird es möglich, die einzelnen ersten Kennwerte im Rahmen der weiteren Verarbeitung in Bezug zueinander zu setzen.
-
Gemäß einer weiteren zweckmäßigen Ausgestaltung ist die Teilanzahl an Bildern derart gewählt, dass diesen als Gesamtheit eine binäre Klassifikationsentscheidung zugeordnet werden kann. Insbesondere wird eine Teilanzahl an Bildern für einen jeweiligen Schweißpuls bei einem gepulsten Laserschweißverfahren erstellt, da bei einer Analyse des Schweißergebnisses jedem Schweißpuls ohne weiteres eine binäre Gut- oder Schlecht-Entscheidung zugeordnet werden kann.
-
Gemäß einer weiteren zweckmäßigen Ausgestaltung umfasst die zumindest eine statistische Berechnung die Ermittlung zumindest eines zeitinvarianten Merkmals als zweiten Kennwert für den betrachteten ersten Kennwert. Beispielsweise kann als zeitinvariantes Merkmal ein Mittelwert oder eine Standardabweichung des betreffenden ersten Kennwerts ermittelt werden.
-
Gemäß einer weiteren zweckmäßigen Ausgestaltung umfasst die zumindest eine statistische Berechnung die Ermittlung zumindest eines zeitvarianten Merkmales, beispielsweise den Zeitpunkt eines Maximalwerts, als zweiten Kennwert für den betrachteten ersten Kennwert. Durch die Berechnung von Zeitinvarianten und zeitverlaufsabhängigen Merkmalen, insbesondere eines Pulses einer Schweißung, kann der hohen Dynamik insbesondere gepulster Schweißungen genüge getan werden.
-
In einer weiteren zweckmäßigen Ausgestaltung werden im Schritt der Reduktion auf die Anzahl an selektierten Kennwerten diejenigen ersten Kennwerte aus dem zweiten Merkmalsraum entfernt, deren zugeordnete zweite Kennwerte konstant sind. Ebenso ist es in einer Ausgestaltung möglich, diejenigen ersten Kennwerte aus dem ersten Merkmalsraum zu entfernen, deren zugeordnete zweite Kennwerte konstant sind. Auch eine Kombination der beiden Varianten ist möglich.
-
In einer weiteren zweckmäßigen Ausgestaltung werden im Schritt der Reduktion auf die Anzahl an selektierten Kennwerten diejenigen ersten Kennwerte aus dem zweiten Merkmalsraum und/oder dem ersten Merkmalsraum bis auf einen der korrelierenden ersten Kennwerte entfernt, die zueinander über ein vorgegebenes Maß hinaus korrelieren.
-
Auf diese Weise ist eine automatische Merkmalsselektion möglich, mit der die Anzahl der ursprünglichen ersten Merkmale reduziert werden kann. Hierdurch ist es möglich, im späteren Betrieb des Verfahrens eine Gut-/Schlecht-Entscheidung in Echtzeit bei hoher Bildabtastrate zu erzielen.
-
Es ist weiterhin zweckmäßig, wenn im Schritt der Reduktion auf die Anzahl an selektierten Kennwerten die tatsächlich selektierten Kennwerte einer Unterschiedlichkeitsbewertung unterzogen werden, wobei diejenigen selektierten Merkmale, die unterhalb einer vorgegebenen Distanzschwelle liegen, aus dem zweiten Kennwertraum entfernt werden. Auch auf diese Weise kann eine Reduktion der ersten Merkmale erzielt werden.
-
Es ist weiterhin zweckmäßig, wenn anhand der selektierten Kennwerte und den zugeordneten Klassifikationswerten eine Verteilung der Klassifikationswerte ermittelt wird, wobei eine Bewertung der Verteilung der Klassifikationswerte mittels Quartil-Positionen durchgeführt wird.
-
Es ist weiterhin zweckmäßig, wenn der Schritt der Reduktion der Anzahl an ersten Kennwerten auf eine zweite, im Vergleich kleinere Anzahl an selektierten Kennwerten (Schritt e)) iterativ durchgeführt wird, wobei in jeder Iteration unterschiedliche der ersten Kennwerte als selektierte Kennwerte ausgewählt werden. Hierdurch ist es möglich, einen optimalen Satz an selektierten Kennwerten ausfindig zu machen, mit dem die Beurteilung einer Schweißverbindung sich in geringstmöglicher Zeit realisieren lässt. Insbesondere hat es sich als vorteilhaft herausgestellt, wenn die Anzahl der selektierten Kennwerte kleiner als 10 ist.
-
Die Erfindung schafft weiterhin eine Vorrichtung zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs, mit Mitteln zum Erlernen der Prozessumgebung und zur Klassifizierung eines aktuellen Prozessergebnisses, wobei das Mittel zum Erlernen der Prozessumgebung dazu ausgebildet ist, folgende Schritte durchzuführen:
- a) den Laserbearbeitungsvorgang durch eine Kamera zu überwachen und eine Vielzahl von Bildern in zeitlich aufeinander folgender Reihenfolge zur Auswertung bereitzustellen;
- b) für jedes der Bilder aus den jeweiligen Bildinformationen eine erste Anzahl an ersten Kennwerten zu ermitteln, wobei die erste Anzahl an ersten Kennwerten für eine Teilanzahl an Bildern zu einem ersten Kennwertraum zusammengefasst wird, wobei die Teilanzahl an Bildern einen von mehreren Teilen bzw. Abschnitten des Laserschweißvorganges darstellt;
- c) den ersten Kennwertraum in einen zweiten Kennwertraum zu überführen, indem für einen jeweiligen gleichen ersten Kennwert der Teilanzahl an Bildern in dem ersten Kennwertraum zumindest eine statistische Berechnung durchgeführt wird, deren Ergebnis oder Ergebnisse als zweite Kennwerte für den jeweiligen ersten Kennwert in dem zweiten Kennwertraum gespeichert wird;
- d) dem zweiten Kennwertraum basierend auf einer tatsächlichen Beurteilung des Ergebnisses des Laserbearbeitungsvorganges für diesen Teil bzw. Abschnitt des Laserschweißvorganges einen Klassifikationswert zuordnen; und
- e) aus einer Mehrzahl an gemäß den Schritten a) bis d) klassifizierten, zweiten Kennwerträumen die erste Anzahl an ersten Kennwerten auf eine zweite, im Vergleich kleinere Anzahl an selektierten Kennwerten zu reduzieren, welche zusammen mit den Klassifikationswerten in dem Schritt des Klassifizierens verarbeitet werden.
-
Die erfindungsgemäße Vorrichtung weist die gleichen Vorteile auf, wie diese in Verbindung mit dem oben beschriebenen Verfahren erläutert wurden.
-
In einer Ausgestaltung kann die Vorrichtung weitere Mittel zur Durchführung weiterer Ausgestaltungen des Verfahrens umfassen.
-
Die Erfindung weist eine Reihe von Vorteilen auf:
Durch die Reduktion auf relevante Merkmale, d. h. die selektierten Kennwerte, welche automatisch im Rahmen des Verfahrens erfolgt, brauchen bei der Anwendung des Verfahrens nach Durchführung eines vorherigen Trainings nur wenige selektierte Kennwerte des Laserbearbeitungsvorganges berechnet werden, wodurch sich Rechenzeit einsparen lässt und die erwünschte hohe Bildrate erzielen lässt.
-
Durch eine mehrschichtige Merkmalsberechnung ist das Verfahren nicht nur für kontinuierliche Laserschweißverfahren geeignet, sondern ebenso für gepulste Laserschweißverfahren. Im letzteren Fall ist es zweckmäßig, wenn die Teilanzahl an Bildern einem Puls des Laserbearbeitungsvorganges entspricht. Die einem Puls zugeordneten Merkmale können grundsätzlich über einen willkürlich gewählten Zeitbereich berechnet werden. Diese Zeitbereiche können sich auch überschneiden. Hierdurch ist es wiederum möglich, kontinuierliche Schweißungen mit dem erfindungsgemäßen Verfahren zu überwachen. Die Dynamik, insbesondere gepulster Schweißungen, wird durch die Berechnung von zeitinvarianten und zeitverlaufsabhängigen Pulsmerkmalen ermöglicht.
-
Die Erfindung wird nachfolgend näher anhand eines Ausführungsbeispiels in den Figuren erläutert. Es zeigen:
-
1 eine schematische Darstellung der bei dem Erlernen einer Prozessumgebung durchgeführten Schritte,
-
2 eine schematische Darstellung der bei der Klassifizierung eines aktuellen Prozessergebnisses durchgeführten Schritte,
-
3 eine schematische Darstellung der Ermittlung eines ersten Kennwerts,
-
4 eine Visualisierung einer Kolmogorov-Smirnov-Distanz (KS-Distanz), und
-
5 eine Visualisierung einer Quartil-Distanz.
-
Erfindungsgemäß wird ein automatisiertes Verfahren zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorganges bereitgestellt, bei dem die Prozessumgebung erlernt und ein aktuelles Prozessergebnis klassifiziert wird. Das erfindungsgemäße Verfahren kann in der Lasermaterialbearbeitung zur Prozessbeobachtung und -kontrolle eingesetzt werden.
-
Marktverfügbare Überwachungssysteme für Laserbearbeitungsvorgänge arbeiten, nachdem sie an das jeweilige Schweißproblem adaptiert wurden, prinzipiell zuverlässig. Kleinere Änderungen der Prozessparameter, beispielsweise die Wahl einer anderen Materialzusammensetzung, können jedoch eine Neuadaption zunächst individuell manuell eingestellter Prozessparameter nach sich ziehen. Unter Umständen ist eine Prozessüberwachung durch das eingesetzte Überwachungssystem sogar unmöglich. Ein Grund hierfür liegt in der mangelnden räumlichen bzw. zeitlichen Auflösung von optischen Sensoren, seien es Fotodioden oder Kameras.
-
Insbesondere bei gepulsten Schweißungen handelt es sich um Prozesse mit hoher Dynamik, deren zuverlässige Überwachung sowohl eine hohe zeitliche wie auch räumliche Auflösung benötigt. Ein weiteres Problem bekannter Sensoriken und nachgeschalteter Verarbeitungseinheiten besteht darin, dass auch im Fall einer schnellen, zweidimensionalen Prozessaufnahme, beispielsweise mittels Hochgeschwindigkeitskamera, einfache, intensitätsbasierte Analysen nur teilweise eine zuverlässige Fehlerdetektion ermöglichen. Dies kann insbesondere dann der Fall sein, wenn die Nahtgeometrie der Schweißverbindung keine scharfe Abbildung einer gesamten Prozesszone erlaubt. Eine geringe Schärfentiefe einer koaxialen Schweißkopf-Abbildungsoptik verhindert dies beispielsweise bei einer Kehlnaht. Die Bereiche der Prozesszone können in einem aufgenommenen Bild nicht mehr voneinander getrennt und damit analysiert werden.
-
Aufgrund der geschilderten Instabilität der existierenden Überwachungssysteme gegenüber Material- oder Geometrieveränderungen sowie dem damit verbundenen Aufwand einer erneuten Parameteradaption wird zur Lösung der Probleme erfindungsgemäß ein selbstlernendes Verfahren vorgeschlagen. Das vorgeschlagene Verfahren ist ein sich selbst optimierendes, schwach überwacht lernendes Bildfolgen-Klassifikationssystem zur Defekterkennung.
-
Mit dem Verfahren können eine unscharfe, örtliche Abbildung (abhängig von einer Schweißgeometrie), eine hohe Dynamik einer Prozessstrahlungsintensität durch Pulsung sowie ein großes Datenaufkommen durch hohe Bildaufnahmerate berücksichtigt werden.
-
Die bei gepulsten Laserschweißverfahren auftretende Dynamik bedingt, dass sich Gut-Pulse, also Schweißpulse, deren Ergebnis einer guten Schweißverbindung entspricht, hinsichtlich ihres zeitlichen Prozessstrahlungsverlaufes stark voneinander unterscheiden können. Es existiert als nicht ein bestimmter Gut-Puls. Gleiches gilt für die Schlecht-Pulse, also Pulse, deren durch einen Schweißpuls erzeugtes Ergebnis unterhalb eines vorgegebenen Qualitätskriteriums liegt. Hier macht sich eine Defektentstehung innerhalb eines Pulses sowohl zeitlich wie auch örtlich individuell in der Prozessstrahlung bemerkbar. Eine unscharfe örtliche Abbildung in Folge einer Prozesszonengeometrie führt des Weiteren zu einer Verschmierung vorhandener Informationen über den Schweißvorgang. Eine einfache Helligkeitsanalyse von Einzelbildern und ein Vergleich mit einem oder mehreren Schwellwerten sind daher nicht möglich.
-
Das erfindungsgemäße Verfahren basiert demgegenüber auf einer Klassifikation einzelner Abschnitte eines Laserschweißvorganges. In der nachfolgenden Beschreibung steht stellvertretend für einen solchen Abschnitt eines Laserschweißvorganges ein Puls eines gepulsten Laserschweißverfahrens. Für den Fachmann ist jedoch klar, dass das Verfahren auch bei einem kontinuierlichen Laserschweißvorgang eingesetzt werden kann, wobei dann einzelne zeitliche Abschnitte des Laserschweißvorganges separat betrachtet werden.
-
Die für eine Klassifikation benötigten Kennwerte, die nachfolgend auch als Merkmale bezeichnet werden, sind mehrstufig. Dies ist schematisch in 1 dargestellt.
-
In 1 ist eine Vielzahl von Bildern B dargestellt, welche in zeitlich aufeinander folgender Reihenfolge durch eine Kamera aufgenommen wurden. Jeweils 1 bis N Bilder B lassen sich hierbei einem Puls Pi, wobei i = 1 bis U, zuordnen. Jeder der Pulse Pi weist dabei vorzugsweise eine gleiche Anzahl N an Bildern B auf, wobei dies jedoch auch nicht zwingend ist. Die Größe eines jeweiligen, aufgenommenen Bildes B liegt z. B. zwischen 64 und 265 Pixel Kantenlänge, kann aber prinzipiell beliebig sein. Um die durch die Kamera aufgenommenen Bilder mit einer hohen Intensitätsdynamik zu erhalten, wird vorzugsweise eine CMOS-Kamera eingesetzt. Die Bildrate beträgt vorzugsweise mehr als 4 kHz, d. h. mindestens alle 250 ms wird durch die Kamera ein Bild aufgenommen. Hierdurch lassen sich in Verbindung mit der nachfolgend näher beschriebenen Verarbeitung der Bildinformationen auch sehr schnelle Fehler, die sich nur kurzzeitig in der Prozessabstrahlung beobachten lassen, erfassen.
-
Zunächst wird jedes der Bilder B einer Vorverarbeitung unterzogen, welche mittels F(MB) gekennzeichnet ist. Im Rahmen der Vorverarbeitung wird aus den Bildinformationen, vorzugsweise für die gesamte, in einem jeweiligen Bild B enthaltene Bildinformation, eine erste Anzahl p an ersten Kennwerten ermittelt. Die Gesamtanzahl an ersten Kennwerten für sämtliche Bilder B ist mit MB gekennzeichnet. Die erste Anzahl p der ersten Kennwerte kann prinzipiell alle möglichen Kennwerte, d. h. Bildmerkmale, umfassen, welche sich aus den Bildinformationen eines jeweiligen Bildes ermitteln lassen. Insbesondere werden hierbei Helligkeitsinformationen der Bilder betrachtet. Für ein jeweiliges Bild B kann beispielsweise eine Grauwert-Statistik ermittelt werden, welche sich anhand folgender Kennwerte bzw. Merkmale charakterisieren lässt: die Summe aller Helligkeitswerte aller Pixel eines Bildes B, ein Mittelwert der Helligkeitswerte, ein quadratischer Mittelwert, eine Standardabweichung, ein Median, ein Quantil, eine Schiefe (Skew), eine Wölbung, ein Maximalwert, ein Minimalwert, eine Anzahl an Maximalwerten, eine Anzahl an Minimalwerten, ein Mode, eine Flaregröße, eine Blitzgröße, ein Grauwert-Schwerpunkt. Unter einer Flaregröße wird die Anzahl der Pixel oberhalb einer (niedrig gesetzten) Schwelle verstanden. Unter einer Blitzgröße wird die Anzahl der Pixel oberhalb einer (im Vergleich zur Flaregröße hoch gesetzten) Schwelle verstanden. Ferner können sog. CoG-Linien, jeweils horizontal und vertikal, ermittelt werden. Hier lassen sich als Kennwerte berücksichtigen: eine Linien-Summe, ein Linien-Mittelwert, eine Linien-Standardabweichung, ein Linien-Profilschwerpunkt, eine Linien-Profilstandardabweichung, eine Linien-Profilschiefe, eine Wölbung des Linienprofils. Weiterhin können Strukturanalysen als Kennwerte berücksichtigt werden, wie z. B. Linien-Extrema, eine einfache Ringdetektion oder eine Tracking-Ringdetektion. Die Berechnung der jeweiligen Kennwerte ist dem Fachmann aus dem Stand der Technik geläufig, so dass deren jeweilige Berechnungsmethoden an dieser Stelle nicht einzeln aufgelistet werden.
-
Während der Einrichtphase des Überwachungssystems werden somit zunächst alle möglichen, definierten Kennwerte berechnet, unabhängig von ihrer potentiellen Tauglichkeit für einen konkreten Laserbearbeitungsvorgang, d. h. ein Schweißproblem. Bei den oben genannten verwendeten Kennwerten handelt es sich größtenteils um einfach und schnell zu berechnende statistische Kennzahlen der einzelnen Bilder B. Vorzugsweise sind diese Kennwerte mittels Hardware (z. B. einem Mikrocontroller oder FPGA) gut berechenbar. Hierdurch können diese z. B. direkt in einer intelligenten Kamera berechnet werden. Ein nachgeschalteter Rechner braucht dann nur noch klassifizieren, aber keine Merkmale mehr berechnen. Daneben werden auch ein horizontaler und vertikaler Schnitt durch einen Grauwert-Schwerpunkt eines jeweiligen Bildes B analysiert, um weiterführende geometrische Informationen über eine Helligkeitsverteilung im betrachteten Bild B zu gewinnen. Dies ist besser aus der 3 ersichtlich, in der in der oberen Hälfte beispielhaft ein durch die Kamera aufgenommenes Bild B dargestellt ist. Ist der Grauwertschwerpunkt GWS ermittelt, so wird durch diesen ein horizontaler Schnitt HS sowie ein vertikaler Schnitt VS gelegt. Prinzipiell kann auch vorgesehen sein, lediglich einen der beiden Schnitte durch den Grauwertschwerpunkt GWS vorzusehen. Durch die Beschränkung einer Geometrie-Analyse auf die beiden Linienschnitte HS und VS reduziert sich die für die Bildanalyse benötigte Leistung gegenüber der Analyse sämtlicher Bildpixel beträchtlich. Durch die Positionierung im Grauwert-Schwerpunkt GWS des Bildes B wird zudem die Wahrscheinlichkeit erhöht, die deutlichsten geometrischen Merkmale mittels der Linienschnitte HS, VS zu erfassen.
-
In dem Diagramm unter dem Bild B ist in 3 der Grauwertverlauf GW über die Anzahl an Pixeln Px des horizontalen Schnittes HS dargestellt. Die Verteilung ist mit V gekennzeichnet. Gut zu erkennen ist, dass die Grauwert-Verteilung V um den Grauwert-Schwerpunkt GWS herum (der etwa bei Pixel 64 liegt) zwei lokale Maxima aufweist. Die Position und Anzahl der lokalen Maxima kann z. B. in den Ringdetektor einfließen. Des Weiteren sind diese ein Hinweis auf die „Unruhe” im Bild, d. h. ob es viele abwechselnde Hell-Dunkel-Bereiche gibt. Diese Kennwerte können einen Hinweis auf Fehler geben.
-
In einem nächsten Schritt erfolgt, soweit sinnvoll möglich, eine Skalierung der einzelnen ersten Kennwerte p bezüglich ihres Definitionsbereichs auf vorgegebene Intervalle, beispielsweise [0, 1] bzw. [–1, 1]. Die Skalierung erfolgt einzeln für einen jeweiligen ersten Kennwert p. Die Skalierung bzw. Normierung ist in 1 mit N(MP) gekennzeichnet.
-
In einem nächsten Schritt wird die erste Anzahl p an ersten Kennwerten MB für die jeweils N Bilder B eines Pulses Pi zu einem ersten Kennwertraum MP zusammengefasst. Der Kennwertraum MP umfasst alle Bildmerkmale, d. h. erste Kennwerte, in geordneter Form. Lediglich beispielhaft sind die U ersten Kennwerträume MP in 1 als Matrix dargestellt. Umfasst der Laserbearbeitungsvorgang beispielsweise U = 100 Pulse, so sind in diesem Schritt 100 erste Kennwerträume MP erzeugt worden.
-
Ein sog. Schlecht-Puls, d. h. ein Schweißpuls, dessen Schweißergebnis ein vorgegebenes Qualitätskriterium nicht erfüllt, mit einer Defektentstehung MP zu Beginn des Pulses erzeugt einen anderen Kennwertraum als ein Defekt-Puls, bei dem die Defektentstehung erst gegen Ende des Pulses auftritt. Aus diesem Grund ist es in einem weiteren Verarbeitungsschritt, in dem eine erste Reduktion des Datenumfangs erfolgt, sinnvoll, zeitinvariante Kennwerte für einen jeweiligen Puls Pi zu berechnen. Zeitinvariante Kennwerte können beispielsweise der Mittelwert oder die Standardabweichung der einzelnen Bildmerkmale über den Puls Pi hinweg sein.
-
Um dennoch eine Zeitinformation innerhalb des Pulses behalten zu können, werden zudem statistische Informationen über den Zeitverlauf jedes ersten Kennwertes p generiert. Beispielsweise kann dies ein Zeitpunkt eines Maximalwertes eines Bildmerkmales über den Puls sein. Hierdurch entsteht ein zweiter Kennwertraum M P. Dies bedeutet, mittels einer Funktion F(M P) wird der erste Kennwertraum MP in einen zweiten Kennwertraum M P überführt, indem für einen jeweiligen gleichen ersten Kennwert in dem ersten Kennwertraum zumindest eine statistische Berechnung durchgeführt wird, deren Ergebnisse als zweite Kennwerte für den jeweiligen ersten Kennwert in dem zweiten Kennwertraum gespeichert werden. Es versteht sich, dass die Überführung des ersten Kennwertraums in den zweiten Kennwertraum M P pro Puls vorgenommen wird.
-
Während in dem ersten Kennwertraum MP für jeden ersten Kennwert p N Merkmale erfasst wurden, sind in dem zweiten Kennwertraum M P für jeden ersten Kennwert p lediglich noch S zweite Kennwerte enthalten. S entspricht dabei der Anzahl der vorgenommenen Berechnungen für einen jeweiligen ersten Kennwert p. Für jeden ersten Kennwert p werden dabei die gleichen S Berechnungen vorgenommen. Der zweite Kennwertraum M P wird auch als statistischer Kennwertraum bezeichnet.
-
Die S verschiedenen Berechnungen umfassen insbesondere als zeitinvariante Merkmale einen Mittelwert aller N Bildkennwerte, eine Standardabweichung, einen Median und ein Maximum. Als zweite Kennwerte mit einer Zeitinformation werden erfasst ein Schwerpunkt des Merkmalsverlaufs, eine Standardabweichung des Merkmalsverlaufs, eine Medianposition des Merkmalsverlaufs und eine Position des Maximums des Merkmalsverlaufs. Es können natürlich auch andere und zusätzliche Berechnungen durchgeführt werden.
-
In einem nächsten Schritt erfolgt eine Reduktion des zweiten Kennwertraums auf eine Anzahl r an selektierten Kennwerten, wobei die Anzahl an selektierten Kennwerten kleiner ist als die erste Anzahl p an ersten Kennwerten. Eine optimale Anzahl r der ersten Kennwerte ist dabei abhängig von der sich anschließenden Klassifikationsmethode sowie der Qualität der vorhandenen Kennwerte, und somit jeweils spezifisch für einen bestimmten Laserbearbeitungsvorgang. Vorzugsweise wird die Selektion der r selektierten Kennwerte automatisch im zweiten Kennwertraum durchgeführt. Unter Umständen kann es auch vorgesehen sein, den gesamten ursprünglichen ersten Kennwertraum MP mit einzubeziehen, d. h. die Selektion auf MP × M P anzuwenden.
-
Die Selektion erfolgt bevorzugt nach folgendem Vorgehen: Zunächst werden die zweiten Kennwerträume M P zu einem gemeinsamen zweiten Kennwertraum M P' zusammengefasst. Anschließend werden alle konstanten zweiten Kennwerte aus dem Kennwertraum M P' entfernt. Weiterhin werden sämtliche erste Kennwerte, die untereinander zu 100% korrelieren, bis auf einen ersten Kennwert entfernt. Bei den verbleibenden ersten Kennwerten wird unter Einbeziehung einer vorab, manuell erstellten Klassifikationsinformation PK eines Trainingsdatensatzes mittels eines Distanzmaßes eine Unterschiedlichkeitsbewertung einer Gut-Verteilung zu einer Schlecht-Verteilung vorgenommen. Kennwerte unterhalb einer einstellbaren Distanzschwelle werden hierbei entfernt.
-
Die Klassifikationsinformation PK ist ein Vektor, der eine der Anzahl U der Pulse Pi entsprechende Anzahl an Einträgen umfasst. Für jeden Puls wurde dabei manuell festgestellt, ob dieser ein vorgegebenes Qualitätskriterium erfüllt oder nicht. Ist beispielsweise der erste Puls P1 ein Schlecht-Puls, so wird in der Klassifikationsinformation PK eine „0” eingetragen. Ist der zweite Puls P2 ein Gut-Puls, wird für diesen eine „1” in der Klassifikationsinformation PK erfasst, usw. Es versteht sich, dass die Zuordnung, ob ein Schlecht-Puls einer „0” und ein Gut-Puls einer „1” entspricht, auch vertauscht werden könnte.
-
Durch das Vorliegen der Klassifikationsinformation PK kann somit dem zweiten, zusammengefassten Kennwertraum M P' eine Information über einen Gut- bzw. Schlecht-Puls zugeordnet werden.
-
Als Distanzmaß kann beispielsweise eine Kolmogorov-Smirnov-Distanz verwendet werden, wie diese beispielhaft in 4 dargestellt ist. In 4 ist ein Diagramm gezeigt, in dem die Kolmogorov-Smirnov-Distanz KSD auf der y-Achse und ein Distanzmaß mit Minimalwert min(M) und Maximalwert max(M) dargestellt ist. Darüber hinaus sind zwei Verteilungen V1, V2 gezeigt, deren Distanzmaß für einen jeweiligen Wert auf der x-Achse ermittelt wird. Die y-Achse gibt somit den Anteil der Werte in der betrachteten Menge an, der unterhalb des jeweiligen x-Wertes liegt. Die KSD sucht den Wert, an dem die beiden Kurven (V1, V2) in y-Richtung am weitesten auseinander liegen.
-
In dem zusammengeführten, zweiten Kennwertraum M P' verbleibende erste Merkmale werden bezüglich des tatsächlich im Trainingsdatensatz vorhandenen Wertebereichs mittels einer Funktion N(MP*) normalisiert (vgl. 1). Diese Normalisierung geschieht abhängig von der Art der Verteilung eines jeweiligen ersten Kennwerts, d. h. sie muss nicht zwingend vorgenommen werden. Die Normalisierung kann auch abhängig vom anschließend verwendeten Klassifikator vorgenommen werden. Die Normalisierung muss nicht zwangsläufig auf den tatsächlich vorhandenen Wertebereich erfolgen.
-
Liegt für einen Kennwert eine Normalverteilung annähernd vor, wird dieses mittels seines Mittelwerts und einer Standardabweichung skaliert (j·–σ ≡ ±1, wobei j ein einstellbarer Gewichtungsparameter ist). Alle anderen Merkmale werden entsprechend ihrer tatsächlich auftretenden Minima und Maxima auf ein vorgegebenes Intervall [0, 1] skaliert. Diese Normalisierung ist sowohl für einen abschließenden Selektionsschritt wie auch für eine spätere Klassifizierung sinnvoll.
-
Der letzte Schritt besteht in einer Bewertung einer Gut- und Schlecht-Verteilung mittels Quartil-Positionen. Dies ist in 5 dargestellt, wobei mit V1 eine Gut-Verteilung und mit V2 eine Schlecht-Verteilung illustriert ist. Über die y-Achse ist die Gut-/Schlecht-Verteilung aufgetragen, die x-Achse repräsentiert einen Interquartilabstand. Wie bei der KSD gibt der y-Wert der Kurve den Anteil der Werte einer Menge an, die kleiner als der zugehörige x-Wert sind. Die Quartildistanz vergleicht zwischen den beiden Kurven die 25%-Marke mit der 75%-Marke, und zwar den Abstand auf der x-Achse. Je nach Lage der beiden Mediane (q2) wird eine Differenz Δq3,q1 zwischen dem q3-Wert der einen und dem q1-Wert der anderen Verteilung V1, V2 gebildet. Aufgrund der Normalisierung der Kennwerte kann nun anhand der Δq3,q1-Abstandswerte eine Reihenfolge der Merkmale aufgestellt werden, die ein Maß für die Trennbarkeit der Klassen durch das jeweilige Merkmal widerspiegelt. Klassen sind hier die Gut- und die Schlecht-Teile. Die eine Kurve enthält die Werte der Gut-Teile, die andere Kurve die Werte der Schlecht-Teile. Je weiter die beiden Kurven voneinander entfernt sind, desto unterschiedlicher sind auch die Werte des jeweiligen Merkmals.
-
Aus der so gewonnenen Liste werden nun die ersten r der ersten Kennwerte ausgewählt. Im späteren Einsatz des Überwachungsverfahrens werden dann nur noch die tatsächlich für die Klassifikation benötigten ersten Kennwerte, d. h. die r selektierten Kennwerte, berechnet.
-
2 zeigt dann das weitere Vorgehen im Rahmen der Klassifikation eines Pulses eines durchgeführten Laserbearbeitungsvorganges. Für einen Puls P werden N Bilder B aufgenommen. Mittels einer Funktion F(MB*) werden eine Anzahl p* an relevanten Merkmalen aus den jeweiligen Bildern B ermittelt. Mittels einer Funktion F(MP*) werden dann die r selektierten Kennwerte ermittelt. P* ist die Anzahl der primären Kennwerte (also der Kennwerte, die direkt aus einem einzelnen Bild gewonnen werden), welche benötigt werden, um die r selektierten Kennwerte zu berechnen. Daher sind sie „relevant” für die iO/niO-Klassifikation. Alle anderen primären Kennwerte, die im Trainingsschritt berechnet wurden, sind daher nach dem Training irrelevant. Mittels eines trainierten Klassifikators KL erfolgt dann die Klassifikation in einen Gut-Puls (iO) oder einen Schlecht-Puls (niO). KP kennzeichnet eine Pulsklasse.
-
Nach der Berechnung bzw. Selektion der selektierten Kennwerte besteht der nachfolgende Schritt somit in der Einteilung bzw. Klassifikation der Pulse Pi anhand der selektierten Kennwerte. Hierbei geht es um eine reine Gut-/Schlecht-Puls-Entscheidung, also um eine binäre Klassifikation. Insbesondere in Frage kommen hierbei ein Support Vector Machine-Klassifikator (SVM) oder ein k-NN-Klassifikator oder ein rein schwellwertbasierter Klassifikator.
-
Eine weitere Möglichkeit der Kennwertselektion ist das direkte Verarbeiten von zufällig ausgewählten Kennwertsätzen in dem Klassifikator und das anschließende Vergleichen der Ergebnisse. Auch eine Kombination der oben beschriebenen Selektion mit einer klassifikatorbasierten Selektion ist möglich.
-
Der beschriebene Analyseansatz basiert somit auf einer Klassifikation einzelner Pulse eines Laserbearbeitungsvorgangs. Die Generierung der dafür benötigten Kennwerte ist mehrstufig. Sie arbeitet zunächst auf einzelnen Bildern. Der dadurch entstehende Bild-Kennwertraum wird mittels statistischer Kennzahlen (z. B. dem Mittelwert eines Bildmerkmales über einen Puls hinweg) auf einen Puls-Kennwertraum abgebildet bzw. reduziert. In diesem Puls-Kennwertraum findet dann eine Klassifikation des betrachteten Pulses in eine der beiden Klassen iO (in Ordnung) und niO (nicht in Ordnung) statt. Die für die Klassifizierung herangezogenen Kennwerte werden während einer Einrichtphase des Verfahrens automatisch ausgewählt.
-
Wie bei jedem Klassifikationssystem ist zunächst eine Einricht- und Trainingsphase erforderlich. In der Einrichtphase werden zunächst die später für die Klassifikation verwendeten Kennwerte generiert und selektiert. Anschließend wird der Klassifikator anhand der ausgewählten Merkmale trainiert. Zur Verbesserung eines Klassifikationsergebnisses kann es teilweise sinnvoll sein, die Merkmalsselektion nochmals zu verändern, d. h. iterativ vorzugehen. Während des produktiven Einsatzes, d. h. der Überwachung des Laserbearbeitungsvorganges, werden nur noch die selektierten Kennwerte berechnet und dem Klassifikator zugeführt.
-
Zusätzlich zu den primären Bildmerkmalen können auch Merkmale aus anderen Quellen/Sensoren in das Verfahren verarbeitet werden, z. B. die Temperatur des Werkstückes, oder Informationen von Photodioden, und dergleichen. Letztendlich ist das Verfahren nicht auf Bildmerkmale angewiesen, sondern kann alle Merkmale, die sich während des Prozesses ändern, verarbeiten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008058422 A1 [0008]