DE102021120435A1

DE102021120435A1 - Verfahren und Vorrichtung zum Ermitteln der Größe von Defekten während eines Oberflächenmodifizierungsverfahrens

Info

Publication number: DE102021120435A1
Application number: DE102021120435.6A
Authority: DE
Inventors: David Mark Newton; Michael Herbert Ölscher; Jonas Bachmann; Philipp Butz
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-08-05
Filing date: 2021-08-05
Publication date: 2023-02-09
Also published as: US20230038435A1; CN115705645A

Abstract

Es wird ein computerimplementiertes Verfahren 100 zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs 8 eines Bauteils auftretenden Defekts 7 in dem Oberflächenbereich 8 angegeben. Das Verfahren 100 weist die folgenden Schritte auf: S1 bis S6: bildbasiertes Ermitteln eines Auftretens eines Defekts 7 und S7: Ermitteln einer Größe des Defekts 7 in einem vom Ermitteln des Auftretens des Defekts 7 getrennten Verfahrensschritt.Daneben werden eine Vorrichtung 200 sowie ein Computerprogramm zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs 8 eines Bauteils auftretenden Defekts 7 in dem Oberflächenbereich 8 angegeben.

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren, eine Vorrichtung sowie ein Computerprogramm zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs eines Bauteils auftretenden Defekts in dem Oberflächenbereich.
Laserstrahlhartlöten ist ein bekanntes Fügeverfahren. Im Automobilbereich wird Laserstrahlhartlöten beispielsweise zum Fügen von verzinkten Stahlblechen in der Serienfertigung von Automobilkarosserien, z. B. zur Verbindung des Daches mit den Seitenteilen oder zum Fügen eines zweiteiligen Heckklappenaußenblechs genutzt. Hierbei wird ein Laserstrahl an der Fügestelle entlanggeführt, wobei er einen Zusatzwerkstoff, z. B. einen Kupfer-Silizium-Draht, aufschmilzt, welcher beim Erkalten die zu fügenden Bauteile miteinander verbindet. Gegenüber anderen Fügeverfahren hat das Laserstrahlhartlöten den Vorteil, dass Fügeverbindungen mit einer hohen Festigkeit bei gleichzeitig hoher ästhetischer Oberflächenqualität erzeugt werden können.
Ein weiteres bekanntes Fügeverfahren ist das Laserstrahlschweißen, z. B. zum Fügen von Leichtbauteilen aus Aluminium unter Zuhilfenahme eines Zusatzdrahts.
Der Aspekt der Oberflächenqualität ist bei diesen Fügeverfahren in Hinblick auf die Kundenzufriedenheit von besonderer Bedeutung. Folglich wird eine Qualitätskontrolle aller Löt- bzw. Schweißstellen benötigt. Standardmäßig erfolgt dies mittels manueller visueller Kontrolle. Eine solche Kontrolle ist jedoch sehr arbeitsintensiv. Daher gibt es Bestrebungen, das Qualitätssicherungsverfahren zu automatisieren.
Automatisierte Qualitätssicherungsverfahren sind z. B. aus dem Gebiet des Laserstrahlschweißens bekannt. So offenbart die DE 11 2010 003 406 T5 ein Verfahren zur Bestimmung einer Schweißgüte, bei dem ein Bild des Schweißabschnitts mit einer Hochgeschwindigkeitskamera erfasst wird. Im erfassten Bild wird das Auftreten von Parametern, wie z. B. der Schweißspritzeranzahl pro Längeneinheit, untersucht. Die Schweißgüte wird anhand eines Vergleichs des analysierten Parameters mit einer zuvor erstellten Vergleichstabelle beurteilt. Dieses Verfahren setzt voraus, dass geeignete aussagekräftige Güteparameter aufgefunden werden können. Zudem ist das Erstellen einer ausreichend genauen Vergleichstabelle sehr aufwändig und erfordert eine Vielzahl von zuvor ermittelten Datensätzen, die einen Zusammenhang zwischen dem Güteparameter und der tatsächlichen Güte widerspiegeln.
Ein weiteres Qualitätssicherungsverfahren, das für das Laserstrahlschweißen von Rohren genutzt wird, ist aus der US 2016/ 0 203 596 A1 bekannt. Hierbei wird eine Kamera auf der dem Laser abgewandten Seite, also z. B. im Inneren des Rohres, positioniert, mit deren Hilfe Bilder der Fügestelle aufgezeichnet werden. Anhand einer Bildauswertung, die eine Zuordnung von Helligkeitswerten zu Bildpixeln umfasst, wird die Anzahl von Defekten bestimmt. Dieses Verfahren ist jedoch nur für Fügeverfahren einsetzbar, die eine Bilderfassung von der dem Laser abgewandten Seite ermöglichen und bei denen mittels der beschriebenen Helligkeitsauswertung auf das Vorliegen von Defekten geschlossen werden kann. Für Oberflächen höchster Güte ist dieses Verfahren aufgrund seiner Ungenauigkeit nicht geeignet.
Eine höhere Genauigkeit kann mit dem in der US 2015/ 0 001 196 A1 beschriebenen Verfahren erreicht werden, dass zur Bildanalyse ein neuronales Netz nutzt. Von einer gebildeten Schweißnaht wird ein Bild aufgenommen. Eine Klassifizierung des Bildes und damit der Schweißnaht als normal oder defekt kann mittels eines neuronalen Netzes erfolgen, wobei die Genauigkeit der Klassifikation mittels der Eigenschaften des neuronalen Netzes variiert werden kann.
Weitere Defektermittlungs- und charakterisierungsverfahren sind aus der CN 1 09 447 941 A , der CN 1 10 047 073 A sowie der US 2017 / 0 028 512 A1 bekannt.
Die Klassifizierung als normal oder defekt ermöglicht jedoch keine genauere Beurteilung des Defekts, die jedoch wünschenswert wäre, da sehr kleine Defekte in nachfolgenden Verfahrensschritts, wie z. B. Schleifen oder Polieren, behoben werden können. Größere Defekte sind hingegen nicht auf einfache Art und Weise mit ausreichender Oberflächenqualität behebbar, sondern bedürfen einer aufwändigeren Reparatur oder sogar eines Austauschs des betroffenen Bauteils.
Aus der WO 2020/104102 A1 ist ein Verfahren zur Erkennung von Bearbeitungsfehlern eines Laserbearbeitungssystems mit Hilfe von tiefen faltenden neuronalen Netzen bekannt. Als Ausgangstensor können folgende Informationen oder Daten erhalten werden: ob zumindest ein Bearbeitungsfehler vorliegt, die Art des Bearbeitungsfehlers, die Position des Bearbeitungsfehlers auf der Oberfläche des bearbeiteten Werkstücks und/oder die Größe bzw. Ausdehnung des Bearbeitungsfehlers. Das tiefe faltende neuronale Netz kann ein sogenanntes „You Only Look Once“ (YOLO)-Verfahren verwenden, um eine Erkennung und Lokalisierung von Bearbeitungsfehlern mit einer Größenangabe der Bearbeitungsfehler zu ermöglichen. Objekterkennung, d. h. Defekterkennung, und Größenermittlung des Defekts werden gemeinsam in einem Verfahrensschritt durchgeführt, d. h. Defekterkennung und Größenermittlung werden für jedes Bild gleichermaßen durchgeführt. Dies begrenzt die Geschwindigkeit des Gesamtverfahrens.
Daher ist dieses Verfahren nur eingeschränkt oder mit erheblich höherem Aufwand für die benötige Kamera- und Rechentechnik für Fügeverfahren mit hohem Bauteildurchsatz anwendbar. Mit anderen Worten ist dieses Verfahren sehr rechenintensiv, so dass sehr viel Rechnerleistung benötigt werden würde, um hohe Bildraten in Echtzeit verarbeiten zu können. Andersherum betrachtet ist die maximal in Echtzeit verarbeitbare Bildrate stark limitiert.
Auch aus der CN 1 09 977 948 A ist ein Defekterkennungsverfahren bekannt, dass einen YOLO-Algorithmus nutzt.
Vor diesem Hintergrund ist es Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung anzugeben, mit denen die Größe von während eines Oberflächenmodifizierungsverfahren auftretenden Defekten bei möglichst geringem Aufwand schnell und mit hoher Genauigkeit ermittelt werden kann.
Gelöst wird die Aufgabe durch die Gegenstände der unabhängigen Ansprüche. Die abhängigen Ansprüche enthalten Ausführungsvarianten dieser erfindungsgemäßen Lösungen.
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs eines Bauteils auftretenden Defekts in dem Oberflächenbereich. Das Verfahren weist die folgenden Schritte auf: bildbasiertes Ermitteln eines Auftretens eines Defekts und Ermitteln einer Größe des Defekts in einem vom Ermitteln des Auftretens des Defekts getrennten Verfahrensschritt.
Computerimplementiert bedeutet, dass mindestens ein Verfahrensschritt, bevorzugt mehrere oder alle Verfahrensschritte, unter Verwendung eines Computerprogramms ausgeführt werden.
Bildbasiert bedeutet, dass das Auftreten oder Nicht-Auftreten eines Defekts durch Auswertung von Bildaufnahmen bzw. Bildern des zu begutachtenden Oberflächenbereichs ermittelt wird, indem Bilder des zu begutachtenden Oberflächenbereichs computerimplementiert ausgewertet werden.
Unter einem Oberflächenmodifizierungsverfahren wird dabei ein Verfahren verstanden, das zu einer zeitweisen oder dauerhaften Veränderung zumindest auch der Oberfläche des Bauteils führt, so dass eine Auswirkung des Oberflächenmodifizierungsverfahrens anhand von Bildaufnahmen des behandelten Oberflächenbereichs des Bauteils beurteilbar ist. Beispielhafte Oberflächenmodifizierungsverfahren können sein: Fügeverfahren wie Lötverfahren, insbesondere Laserstrahllötverfahren, Schweißverfahren, insbesondere Laserstrahlschweißverfahren, Klebeverfahren oder Oberflächenbehandlungsverfahren wie Beschichtungsverfahren, 3D-DruckVerfahren, Plasmabehandlungsverfahren, Reinigungsverfahren etc. Das Oberflächenmodifizierungsverfahren kann vorzugsweise im Automobilbau zum Einsatz kommen.
Defektermittlung, d. h. das Ermitteln eines Auftretens eines Defekts, bedeutet, dass festgestellt, wird ob in dem betrachteten Oberflächenbereich ein Defekt vorliegt oder nicht. Mit anderen Worten kann der zu beurteilende Oberflächenbereich oder das entsprechende Bauteil als „defekt“ oder „nicht defekt“ klassifiziert werden.
Größenermittlung, d. h. das Ermitteln der Größe des Defekts, bedeutet, dass eine Klassifizierung des Defekts anhand seiner Größe erfolgt. Beispielsweise können zwei oder mehr Größenklassen vorgegeben werden, in die der zu beurteilende Oberflächenbereich oder das entsprechend Bauteil eingruppiert bzw. klassifiziert wird. Die Anzahl und Ausprägung der Größenklassen kann in Abhängigkeit des Oberflächenmodifizierungsverfahrens und der konkreten Anwendung erfolgen. Beispielsweise können die Größenklassen derart definiert sein, dass in eine erste Größenklasse eingruppierte Oberflächenbereiche einen aufgrund der geringen Größe reparablen Defekt aufweisen, während in eine zweite Größenklasse eingruppierte Oberflächenbereiche einen aufgrund der großen Größe irreparablen Defekt aufweisen.
Die Größenermittlung erfolgt ebenfalls computerimplementiert durch Auswertung von Bildaufnahmen bzw. Bildern des Oberflächenbereichs mit dem zuvor detektierten Defekt
Sowohl zur Defektermittlung als auch zur Größenermittlung können fachübliche Bildverarbeitungsverfahren und Objekterkennungsalgorithmen genutzt werden.
Mit dem Verfahren können während der Durchführung des Oberflächenmodifizierungsverfahrens auftretende Oberflächendefekte in dem Oberflächenbereich des Bauteils, wie z. B. Spritzer, Löcher, Risse etc., nicht nur ermittelt, sondern es kann auch deren Größe bestimmt werden. Die Oberflächendefekte können vorteilhaft noch während des Oberflächenmodifizierungsverfahrens, also in Echtzeit, d. h. in situ, ermittelt werden, so dass die entsprechenden Bauteile schnell als defekt erkannt und z. B. nachbehandelt oder aussortiert werden können.
Indem die Defektermittlung und die Größenermittlung voneinander getrennt durchgeführt werden, kann die Größenermittlung mit geringem Aufwand, insbesondere rechentechnischem Aufwand, schnell und mit hoher Genauigkeit erfolgen. So kann die Defektermittlung mit hohem Durchsatz an zu begutachtenden Bauteilen erfolgen, z. B. durch Verwendung einer Hochgeschwindigkeitskamera mit einer Bildrate von mindestens 100 Bildern pro Sekunde. Die getrennt davon durchzuführende Größenermittlung kann dann ohne Verringerung des Durchsatzes mit geringerer Geschwindigkeit durchgeführt werden, da nur diejenigen Bauteile der Größenermittlung zugeführt werden, für die zuvor ein Defekt ermittelt wurde.
Demgegenüber bedingt eine gemeinsame Durchführung der Defekt- und Größenermittlung bei vertretbarem Aufwand aufgrund des erhöhten Zeitaufwands einen deutlich geringeren Durchsatz an begutachtbaren Bauteilen. Ein derartiges Verfahren ist daher nicht für die Qualitätssicherung von Fügeverfahren mit hohem Bauteildurchsatz, z. B. im Automobilbau, geeignet.
Durch die computerimplementierte Ausführung des Verfahrens wird weniger Personal zur visuellen Kontrolle der Bauteile benötigt, so dass Kosten eingespart werden können und die Einhaltung von Qualitätsstandards zuverlässig umgesetzt werden kann, da die subjektive Komponente der begutachtenden Person entfällt. Zudem wird eine Automatisierung der Qualitätssicherung ermöglicht.
Das Verfahren ist für sämtliche Bauteile geeignet, die einem Oberflächenmodifizierungsverfahren unterworfen werden können, z. B. Metall-, Glas-, Keramik- oder Kunststoffbauteile. Mit umfasst sind Bauteile, die durch Fügen von Einzelteilen geschaffen werden.
Gemäß verschiedenen Ausführungsvarianten kann die Größe des Defekts mittels eines YOLO-Modells („You Only Look Once“-Modell) ermittelt werden. Mit anderen Worten kann zur Größenermittlung ein YOLO-Modell genutzt werden.
Unter dem Begriff „YOLO-Modell“ wird in der vorliegenden Beschreibung ein Objekterkennungsalgorithmus verstanden, bei dem die Objekterkennung als einfaches Regressionsproblem, ausgehend von Bildpixeln zu Rahmenkoordinaten und Klassenwahrscheinlichkeiten, dargestellt wird. Bei diesem Verfahren wird ein Bild lediglich einmal betrachtet (YOLO - you only look once) um zu berechnen, welche Objekte im Bild vorhanden sind und wo sie sich befinden. Dabei berechnet ein einzelnes konvolutionelles Netzwerk simultan mehrere Objekteinrahmungen bzw. Objektrahmen, auch als bounding boxes bezeichnet, und Klassenwahrscheinlichkeiten für diese Objektrahmen. Das Netzwerk nutzt Informationen aus dem gesamten Bild zur Berechnung jedes einzelnen Objektrahmens. Zudem werden alle Objektrahmen aus allen Klassen für ein Bild gleichzeitig berechnet. Dies bedeutet, dass das YOLO-Modell eine Gesamtbetrachtung für ein Bild und für alle darin befindlichen Objekte erstellt. Das YOLO-Modell ermöglicht die Echtzeitverarbeitung von Bildern bei einer hohen durchschnittlichen Genauigkeit der Objekterkennung.
Hierbei wird ein Bild in ein S x S Gitter unterteilt. Für jede Gitterzelle wird eine Anzahl von B Objektrahmen in unterschiedlichen Größen, mit den zugehörigen Wahrscheinlichkeitswerten für die Objekterkennung berechnet. Die Wahrscheinlichkeitswerte geben an, mit welcher Sicherheit das Modell ein Objekt in einem Objektrahmen erkennt und wie genau der Objektrahmen um das Objekt gelegt ist. Zusätzlich wird für jede Gitterzelle eine Klassenzugehörigkeit berechnet. Mit der Kombination der Objektrahmen und der Klassenzugehörigkeit können Objekte im Bild erkannt und deren Größe anhand der Objektrahmen bestimmt werden. Somit lassen sich mit Hilfe des YOLO-Modells Oberflächendefekte in ihrer Lage als auch ihrer Größe bestimmen.
Nähere Erläuterungen zum YOLO-Modell finden sich in REDMON, J. et al. You Only Look Once: Unified, Real-Time Object Detection, arXiv:1506.02640v5 [cs.CV] 9 May 2016.
Gemäß weiteren Ausführungsvarianten kann das Auftreten des Defekts mittels der folgenden Verfahrensschritte ermittelt werden: Bereitstellen einer mehrere Einzelbilder aufweisenden Bildfolge eines zu beurteilenden Oberflächenbereichs, wobei jedes Einzelbild einen Bildausschnitt des Oberflächenbereichs zeigt und sich die Bildausschnitte der Einzelbilder zumindest teilweise überlappen, Zuordnen der Einzelbilder zu mindestens zwei Bildklassen, wovon mindestens eine Bildklasse das Attribut defekt trägt, im Folgenden als Defekt-Bildklasse bezeichnet, Prüfen, ob mehrere Einzelbilder einer vorgebbaren Anzahl in der Bildfolge direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden, und falls mehrere Einzelbilder der vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden, Ausgeben eines Defektsignals. Mit anderen Worten kann die Defektermittlung die genannten Verfahrensschritte umfassen.
In einem ersten Verfahrensschritt dieses Defektermittlungsverfahrens wird eine Bildfolge eines zu beurteilenden Oberflächenbereichs des Bauteils bereitgestellt. Beispielsweise kann die Bildfolge von einem Speichermedium abgerufen werden oder direkt von einer die Bildfolge aufzeichnenden Kamera übertragen werden. Eine direkte Übertragung ermöglicht vorteilhaft eine Echtzeitbeurteilung des Auftretens von Defekten und folglich einen zeitnahen Eingriff bei der Detektion defekter Bauteile oder einer defekten Oberflächenmodifizierungseinrichtung, so dass eine hohe Ausschussrate vermieden werden kann.
Die Bildfolge umfasst mehrere Einzelbilder. Jedes Einzelbild zeigt dabei einen Bildausschnitt des Oberflächenbereichs. Die Bildausschnitte der Einzelbilder überlappen sich dabei zumindest teilweise. Dies bedeutet, dass ein Bildausschnitt der Einzelbilder derart gewählt ist, dass ein Oberflächenpunkt des Oberflächenbereichs in mindestens zwei, vorzugsweise mehr als zwei, beispielsweise vier, direkt aufeinanderfolgenden Einzelbildern abgebildet ist. Der Bildausschnitt kann dabei durch Bewegung des Bauteils und/oder der die Bildfolge aufnehmenden Kamera verändert worden sein.
In einem weiteren Verfahrensschritt werden die Einzelbilder zu mindestens zwei Bildklassen zugeordnet. Mindestens eine der Bildklassen trägt das Attribut „defekt“. Diese Bildklasse wird auch als „Defekt-Bildklasse“ bezeichnet. Mit anderen Worten werden mehrere, vorzugsweise alle, Einzelbilder klassifiziert und einer Bildklasse, also entweder der Defekt-Bildklasse oder der Nicht-Defekt-Bildklasse zugeordnet. Optional können weitere Bildklassen gebildet werden, z. B. nach Art des Defekts, um eine genauere Charakterisierung eines Oberflächendefekts zu ermöglichen. Beispielsweise kann eine Unterscheidung nach Art des Defekts erfolgen, z. B. Pore, Spritzer etc.
Das Zuordnen der Bilder zu den Bildklassen kann beispielsweise anhand eines Klassifikationsmodells oder eines Regressionsmodells erfolgen. Laut Enzyklopädie der Wirtschaftsinformatik - Online-Lexikon; Heraus. Norbert Gronau, Jörg Becker, Natalia Kliewer, Jan Marco Leimeister, Sven Overhage http://www.enzyklopaedie-der-wirtschaftsinformatik.de, Stand: 08.07.2020, ist ein Klassifikationsmodell eine Abbildung, die die Zuordnung von Datenobjekten, vorliegend den Einzelbildern, zu vorgegebenen Klassen, vorliegend den Bildklassen, beschreibt. Hierbei ergibt sich die Klassenausprägung der diskreten Klassifikationsvariablen aus den Ausprägungen der Attribute der Datenobjekte. Die Grundlage für ein Klassifikationsmodell bildet ein Datenbestand, dessen Datenobjekte jeweils einer vorgegebenen Klasse zugeordnet sind. Das erstellte Klassifikationsmodell kann dann zur Prognose der Klassenzugehörigkeit von Datenobjekten eingesetzt werden, deren Klassenzugehörigkeit bisher nicht bekannt ist.
Mit einem Regressionsmodell wird eine abhängige, stetige Variable durch mehrere unabhängige Variablen erklärt. Es kann somit ebenfalls zur Prognose des unbekannten Wertes der abhängigen Variablen durch die Ausprägungen der zugehörigen unabhängigen Variablen eingesetzt werden. Der Unterschied zu einem Klassifikationsmodells liegt in der Kardinalität der abhängigen Variablen. Bei einem Klassifikationsmodell liegt eine diskrete, bei einem Regressionsmodell eine stetige Variable vor.
Nachdem die Einzelbilder den Bildklassen zugeordnet wurden, wird in einem weiteren Verfahrensschritt geprüft, ob mehrere einer vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden. Hierbei kann sowohl die Anzahl der genutzten direkt aufeinander folgenden Einzelbilder als auch die Anzahl der der Defekt-Bildklasse mindestens zugeordneten Einzelbilder je nach konkreten Anwendungsfall, also z. B. in Abhängigkeit des genutzten Oberflächenmodifizierungsverfahrens, der genutzten Messtechnik, der geforderten Oberflächengüte etc., festgelegt werden.
Beispielsweise kann festgelegt werden, dass geprüft wird, ob alle Einzelbilder der vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder, also z. B. zwei Einzelbilder von zwei direkt aufeinander folgenden Einzelbildern, der Defekt-Klasse zugeordnet wurden. Alternativ kann z. B. festgelegt werden, dass geprüft wird, ob zwei, drei oder vier Einzelbilder von vier direkt aufeinander folgenden Einzelbildern der Defekt-Klasse zugeordnet wurden etc. Mit anderen Worten ist die Anzahl der zu prüfenden Einzelbilder kleiner oder gleich der vorgebbaren bzw. vorgegebenen Anzahl an direkt aufeinander folgenden Einzelbildern.
In einem weiteren Verfahrensschritt wird ein Defektsignal ausgegeben, falls mehrere Einzelbilder der vorgebbaren Anzahl in der Bildfolge direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden. Das Defektsignal kann als Triggersignal für das Ermitteln der Größe des Defekts genutzt werden. Mit anderen Worten kann geprüft werden, ob ein Defektsignal, gleichbedeutend mit dem Vorliegen eines Defekts, vorliegt. Ist dies der Fall, so wird in einem nachfolgenden Verfahrensschritt die Größe des Defekts, bevorzugt mittels eines YOLO-Modells, ermittelt. Hierbei wird zur Einsparung von Rechnerleistung das YOLO-Modell nur auf diejenigen Bilder angewandt, die zuvor als defekt klassifiziert worden sind.
Des Weiteren kann das Defektsignal beispielsweise genutzt werden, um eine Unterbrechung des Oberflächenmodifizierungsverfahrens oder die Ausgabe eines Hinweises an einen Bediener der das Oberflächenmodifizierungsverfahren ausführenden Oberflächenmodifizierungseinrichtung zu bewirken.
Indem das Auftreten eines Oberflächendefekts nicht nur anhand eines als defekt klassifizierten Einzelbilds ermittelt wird, sondern auf der Klassifizierung mehrerer Einzelbilder einer vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder beruht, kann die Genauigkeit der Defektvorhersage deutlich verbessert werden. Insbesondere können falsch-positive und falsch-negative Ergebnisse, also fälschlicherweise als defekt oder fälschlicherweise als nicht-defekt beurteilte Oberflächenbereiche, verringert oder sogar gänzlich vermieden werden, da eine Verifizierung der Beurteilung eines auf einem als defekt klassifizierten Einzelbild beruhenden Oberflächenbereichs anhand eines unmittelbar darauf folgenden Einzelbilds erfolgt.
Gemäß weiteren Ausführungsvarianten kann das Verfahren ein Bereitstellen eines trainierten neuronalen Netzes aufweisen, wobei das Zuordnen der Einzelbilder zu den Bildklassen mittels des trainierten neuronalen Netzes erfolgt.
Beispielsweise kann das vorstehend erläuterte Klassifikationsmodell oder das vorstehend erläuterte Regressionsmodell in Form eines neuronalen Netzes implementiert sein.
Ein neuronales Netz stellt einen Rahmen für verschiedene Algorithmen zum maschinellen Lernen, zum Zusammenarbeiten und für die Verarbeitung komplexer Dateneingaben zur Verfügung. Solche neuronalen Netze lernen, Aufgaben anhand von Beispielen auszuführen, ohne typischerweise mit aufgabenspezifischen Regeln programmiert worden zu sein.
Ein neuronales Netz basiert auf einer Sammlung verbundener Einheiten oder Knoten, die als künstliche Neurone bezeichnet werden. Jede Verbindung kann ein Signal von einem künstlichen Neuron zu einem anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann weitere damit verbundene künstliche Neuronen aktivieren.
Bei herkömmlichen Implementierungen von neuronalen Netzen ist das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass ein Signal nur dann ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.
Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch.
Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht, möglicherweise nach mehrmaligem Durchlaufen der Schichten.
Die Architektur eines künstlichen neuronalen Netzes kann einem Multi-Layer-Perceptron-Netz entsprechen. Ein Multi-Layer-Perceptron-Netz gehört zur Familie der künstlichen feed-forward neuronalen Netze. Grundsätzlich bestehen Multi-Layer-Perceptron-Netze aus mindestens drei Schichten von Neuronen: einer Eingabeschicht, einer Zwischenschicht, auch als versteckte Schicht oder hidden layer bezeichnet, und einer Ausgabeschicht. Das bedeutet, dass alle Neuronen des Netzes in Schichten eingeteilt sind, wobei ein Neuron einer Schicht immer mit allen Neuronen der nächsten Schicht verbunden ist. Es gibt keine Verbindungen zur vorherigen Schicht und keine Verbindungen, die eine Schicht überspringen. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sind. Ein tiefes neuronales Netz kann viele solcher Zwischenschichten aufweisen.
Trainieren eines künstlichen neuronalen Netzes bedeutet, die Gewichte der Neuronen und ggf. Schwellwerte geeignet anzupassen. Grundsätzlich sind drei verschiedene Lernformen zu unterscheiden: überwachtes Lernen, unüberwachtes Lernen und bestärkendes Lernen (engl. Supervised, Unsupervised und Reinforcement Learning).
Beim überwachten Lernen werden dem neuronalen Netz sehr viele Trainingsdatensätze präsentiert, die das neuronale Netz durchlaufen. Das gewünschte Ergebnis ist dabei für jeden Trainingsdatensatz bekannt, so dass eine Abweichung zwischen dem tatsächlichen und dem gewünschten Ergebnis ermittelt werden kann. Diese Abweichung lässt sich als Fehlerfunktion ausdrücken, deren Minimierung das Ziel des Trainings ist. Nach Abschluss des Trainings ist das trainierte Netzwerk in der Lage, auch auf unbekannte Datensätze die gewünschte Reaktion zu zeigen. Folglich ist das trainierte neuronale Netz in der Lage, eine Transferleistung zu erbringen bzw. zu generalisieren.
Beim unüberwachten Lernen ist hingegen kein konkretes gewünschtes Ergebnis bekannt. Vielmehr versucht das neuronale Netz selbständig, Ähnlichkeiten in den Datensätzen zu erkennen und darauf basierend Kategorien zu erstellen und weitere Datensätze entsprechend zuzuordnen.
Wie beim unüberwachten Lernen ist auch beim bestärkenden Lernen kein konkretes gewünschtes Ergebnis bekannt. Es existiert jedoch zumindest eine Bewertungsfunktion, mit der beurteilt wird, ob und ggf. in welchem Ausmaß ein erhaltenes Ergebnis gut oder schlecht war. Das neuronale Netz ist nun bestrebt, diese Funktion zu maximieren.
Das zum Zuordnen der Einzelbilder zu den Bildklassen genutzte trainierte neuronale Netz kann mittels einer der vorstehend beschriebenen Methoden trainiert worden sein. Als Trainingsdatensätze können beispielsweise Bilder von Oberflächenbereichen eines Bauteils genutzt worden sein, bei denen bekannt ist, ob sie einen Defekt zeigen oder nicht und die entsprechend der Defekt-Bildklasse oder Nicht-Defekt-Bildklasse zugeordnet worden sind. Werden weitere Bildklassen genutzt, können als Trainingsdatensätze entsprechend dieser weiteren Bildklassen klassifizierte Bilder genutzt worden sein.
Das Zuordnen der Einzelbilder zu den Bildklassen mittels des trainierten neuronalen Netzes hat den Vorteil, dass die Einzelbilder mit einer hoher Genauigkeit der jeweiligen Bildklasse zugeordnet werden können und folglich weniger falsch-positive oder falsch-negative Zuordnungen erhalten werden. Insgesamt kann somit die Genauigkeit der Vorhersage von Oberflächendefekten weiter verbessert werden.
Bevorzugt kann das trainierte neuronale Netz mittels Transferlernens (engl. transfer learning) trainiert worden sein. Transferlernen nutzt ein bereits vortrainiertes neuronales Netz und schult dieses für einen speziellen Anwendungszweck. Mit anderen Worten ist das vortrainierte neuronale Netz bereits mittels Trainingsdatensätzen trainiert worden und enthält folglich die Gewichte und Schwellwerte, die die Merkmale dieser Trainingsdatensätze repräsentieren.
Der Vorteil eines vortrainierten neuronalen Netzes ist, dass gelernte Merkmale auf andere Klassifizierungsprobleme übertragbar sind. Beispielsweise kann ein neuronales Netz, das mittels sehr vieler einfach verfügbarer Trainingsdatensätze mit Vogelbildern trainiert wurde, gelernte Merkmale wie Kanten oder horizontale Linien enthalten, die auf ein anderes Klassifizierungsproblem, das zwar keine Vögel betrifft, jedoch Bilder mit Kanten und horizontalen Linien, übertragbar sind. Zum Erhalt eines für das eigentliche Klassifizierungsproblem geeignet trainierten neuronalen Netzes sind anschließend vergleichsweise wenige weitere Trainingsdatensätze erforderlich, die das eigentliche Klassifizierungsproblem, also z. B. die vorliegend beschriebene Defekterkennung, betreffen.
Vorteilhaft wird also nur eine geringe Anzahl von für das Klassifizierungsproblem spezifischen Trainingsdatensätzen benötigt, um ein geeignet trainiertes neuronales Netz zu erhalten. Die erforderlichen spezifischen Trainingsdatensätze können folglich schneller erhalten werden, so dass eine Klassifizierung bereits nach kurzer Zeit möglich ist. Zudem können auch Klassifizierungsprobleme gelöst werden, für die nicht genügend spezifische Trainingsdatensätze zur Verfügung stehen, um ein neuronales Netz mit ausschließlich spezifischen Trainingsdatensätzen trainieren zu können. Die Verwendung eines vortrainierten neuronalen Netzes als Ausgangspunkt für das weitere Training mit spezifischen Trainingsdatensätzen hat außerdem den Vorteil, dass weniger Rechenleistung benötigt wird.
Das trainierte neuronale Netz kann sich von dem vortrainierten neuronalen Netz beispielsweise dadurch unterscheiden, dass weitere Schichten, z. B. Klassifikationsschichten hinzugefügt worden sind.
Als vortrainiertes neuronales Netz kann beispielsweise das unter der Bezeichnung ResNet50 eingangs erwähnte neuronale Netz genutzt werden. Neben ResNet50 kann beispielsweise auch ResNet18 genutzt werden.
Zur weiteren Verbesserung der Vorhersagegenauigkeit können Verfahren wie z. B. Data Augmentation, Weichzeichnen (engl. gaussian blur) und andere Techniken des maschinellen Lernens eingesetzt werden. Daneben kann das trainierte neuronale Netz auch mit denjenigen Einzelbildern weitertrainiert werden, die im Rahmen des vorgeschlagenen Verfahrens aufgenommen wurden.
Das trainierte neuronale Netz kann alternativ oder zusätzlich mittels iterativen Lernens trainiert worden sein.
Dies bedeutet, dass das neuronale Netz initial mit einem kleinen Trainingsdatensatz trainiert werden kann (erste Iterationsschleife). Mit diesem noch nicht perfekt trainierten neuronalen Netz lassen sich bereits erste Einzelbilder der Defekt-Bildklasse zuordnen. Diese können zum Trainingsdatensatz hinzugefügt werden, so dass in einer zweiten Iterationsschleife die Genauigkeit verbessert werden kann. Weitere Iterationsschleifen können entsprechend folgen.
Vorteilhaft kann mittels des iterativen Lernens die Genauigkeit erhöht werden. Auf Basis der ersten Iterationschleife lässt sich zudem die Datengenerierung für weitere Trainingszyklen deutlich beschleunigen.
Gemäß weiteren Ausführungsvarianten kann das Verfahren als weiteren Verfahrensschritt, der vor dem Bereitstellen der Bildfolge ausgeführt wird, ein Aufnehmen der mehrere Einzelbilder aufweisenden Bildfolge des zu beurteilenden Oberflächenbereichs aufweisen, wobei jedes Einzelbild einen Bildausschnitt des Oberflächenbereichs zeigt und sich die Bildausschnitte der Einzelbilder zumindest teilweise überlappen.
Mit anderen Worten wird der Bildausschnitt derart gewählt, dass ein Oberflächenpunkt des Oberflächenbereichs in mehreren direkt aufeinanderfolgenden Einzelbildern abgebildet wird. Die aufgenommenen Bilder können dann im nächsten Verfahrensschritt für die darauffolgenden Verfahrensschritte bereitgestellt werden, so dass auf die obigen Ausführungen zu der bereitgestellten Bildfolge verwiesen wird.
Vorzugsweise kann die Bildfolge mit einer Bildrate von 100 Bildern pro Sekunde (engl. frames per second) aufgezeichnet werden. Eine solche Bildrate erweist sich für viele Oberflächenmodifizierungsverfahren, insbesondere Löt- und Schweißverfahren als vorteilhaft, da bei Befestigung der Kamera zur Aufnahme der Bildfolge an der Oberflächenmodifizierungseinrichtung einerseits ein ausreichend großer Überlappungsbereich erreicht werden kann, so dass potentielle Defekte auf mehreren Einzelbildern der vorgebbaren Anzahl an direkt aufeinander folgenden Einzelbildern, z. B. auf zwei oder vorzugsweise mehr als zwei direkt aufeinanderfolgenden Einzelbildern, erkannt werden können. Andererseits muss die Bildrate nicht deutlich größer als 100 Bilder pro Sekunde sein, sodass die Aufnahme der Bilder und die Echtzeitauswertung mit üblicher Rechentechnik und damit kostengünstig erfolgen können. Auch eine kleinere Bildrate als 100 Bilder pro Sekunde kann ausreichend sein, falls die Vorschubbewegung des Bearbeitungsprozesses langsamer ist und Defekte auch mit einer geringeren Bildrate in der Bildfolge abgebildet werden können.
Allgemein hängt die minimale Bildrate von der Geschwindigkeit des Oberflächenmodifizierungsverfahrens ab. Je schneller der Prozess, desto höher sollte die Bildrate sein, damit ein Fehler auf mehreren aufeinanderfolgenden Einzelbildern detektierbar ist.
Neben der Bildrate können auch weitere Parameter die benötigte Rechenleistung beeinflussen, u. a. Bildauflösung (x,y), Farbinformationen (z. B. RGB oder SW), Farbtiefe (z. B. 8, 10 oder 12 bit pro Kanal), Zuordnen der Einzelbilder zu den Bildklassen mittels Single Precision oder Double Precision etc. Für die benötigten Ressourcen auf der eingesetzten Hardware ist zudem die Größe des genutzten Modells, z. B. des trainierten neuronalen Netzes, entscheidend.
Gemäß weiteren Ausführungsvarianten kann der Bildausschnitt zusammen mit einer Oberflächenmodifizierungseinrichtung zur Durchführung des Oberflächenmodifizierungsverfahrens bewegt werden.
Beispielsweise kann es sich bei dem Oberflächenmodifizierungsverfahren um ein kontinuierliches Verfahren handeln, bei dem der Bildausschnitt mit fortschreitender Oberflächenmodifizierung verschoben wird. Damit kann erreicht werden, dass stets der aktuell bearbeitete Oberflächenbereich von der Kamera erfasst wird, so dass neu auftretende Oberflächendefekte schnell ermittelt werden können.
Bei einem Laserstrahlverfahren, z. B. einem Laserstrahllötverfahren oder ein Laserstrahlschweißverfahren, kann beispielsweise eine Kamera genutzt werden, die koaxial zum Bearbeitungslaser ausgerichtet ist und folglich durch den Bearbeitungslaser hindurch blickt. Die Kamera bewegt sich folglich zusammen mit dem Bearbeitungslaser. Als Bildausschnitt kann bei einem Laserlötverfahren z. B. der Bereich Teil des Lötdrahtes - Prozesszone - erstarrte Lötverbindung gewählt werden, der zusammen mit dem Bearbeitungslaser über die Oberfläche des Bauteils wandert.
Eine derartige Verknüpfung der Kamera mit der Oberflächenmodifizierungseinrichtung hat den Vorteil, dass die Kamera automatisch bewegt wird und sich der Bildausschnitt folglich ebenfalls automatisch ändert, ohne dass eine separate Kamerasteuerung benötigt wird.
Beispielsweise kann das Verfahren in Echtzeit während des Oberflächenmodifizierungsverfahrens durchgeführt werden.
Dies ermöglicht vorteilhaft eine schnelle Ermittlung auftretender Oberflächendefekte. Folglich kann bei einem ermittelten Oberflächendefekt schnell eingegriffen werden, so dass ein defektes Bauteil entfernt werden kann und ggf. weitere Oberflächendefekte vermieden werden können.
Gemäß weiteren Ausführungsvarianten kann das YOLO-Modell mit denselben Trainingsdaten wie das trainierte neuronale Netz trainiert worden sein.
Mit anderen Worten kann also ein trainiertes YOLO-Modell für die Größenermittlung bereitgestellt werden, das mit denselben Trainingsdaten wie das trainierte neuronale Netz trainiert worden ist. Insofern wird auf die obigen Ausführungen bezüglich des Trainierens des neuronalen Netzes verwiesen. Dadurch kann der Aufwand zur Gewinnung von Trainingsdaten verringert werden.
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs eines Bauteils auftretenden Defekts in dem Oberflächenbereich. Die Vorrichtung weist eine Datenverarbeitungseinheit auf, die dazu ausgebildet und eingerichtet ist, ein Auftreten eines Defekts bildbasiert zu ermitteln und eine Größe des Defekts in einem vom Ermitteln des Auftretens des Defekts getrennten Verfahrensschritt zu ermitteln.
Die Datenverarbeitungseinheit kann in einer signaltechnischen Wirkverbindung mit einer Speichereinheit, einer Kameraeinheit und/oder einer Ausgabeeinheit stehen und folglich Signale dieser Einheiten Empfangen und/oder Signale an diese Einheiten übertragen.
Die Vorrichtung kann beispielsweise zur Durchführung eines der vorstehend beschriebenen Verfahren, also zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs eines Bauteils auftretenden Defekts in dem Oberflächenbereich, genutzt werden. Mithin können auch mit der erfindungsgemäßen Vorrichtung die Vorteile des erfindungsgemäßen Verfahrens erreicht werden. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Vorrichtung übertragen.
Gemäß verschiedenen Ausführungsvarianten kann die Datenverarbeitungseinheit zum Ermitteln der Größe des Defekts mittels eines YOLO-Modells ausgebildet und eingerichtet. Beispielsweise kann das YOLO-Modell in einer Speichereinheit gespeichert sein, die mit der Datenverarbeitungseinheit in einer signaltechnischen Wirkverbindung steht.
Gemäß weiteren Ausführungsvarianten kann die Datenverarbeitungseinheit zum Ermitteln des Auftretens des Defekts dazu ausgebildet und eingerichtet sein, Einzelbilder einer mehrere Einzelbilder aufweisenden Bildfolge eines zu beurteilenden Oberflächenbereichs zu mindestens zwei Bildklassen zuzuordnen, wobei jedes Einzelbild einen Bildausschnitt des Oberflächenbereichs zeigt und sich die Bildausschnitte der Einzelbilder zumindest teilweise überlappen und wobei mindestens eine Bildklasse das Attribut defekt trägt, im Folgenden als Defekt-Bildklasse bezeichnet, zu prüfen, ob mehrere Einzelbilder einer vorgebbaren Anzahl in der Bildfolge direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden, und falls mehrere Einzelbilder der vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden, ein Defektsignal auszugeben.
Gemäß verschiedenen Ausführungsvarianten kann die Datenverarbeitungseinheit ein trainiertes neuronales Netz zum Zuordnen der Einzelbilder zu den mindestens zwei Bildklassen aufweisen. Auch diesbezüglich wird auf die vorstehenden Ausführungen zur Beschreibung des trainierten neuronalen Netzes und dessen Vorteilen verwiesen.
Gemäß weiteren Ausführungsvarianten kann die Vorrichtung eine Kameraeinheit aufweisen, die dazu eingerichtet und ausgebildet ist, eine mehrere Einzelbilder aufweisende Bildfolge des zu beurteilenden Oberflächenbereichs aufzunehmen, wobei jedes Einzelbild einen Bildausschnitt des Oberflächenbereichs zeigt und sich die Bildausschnitte der Einzelbilder zumindest teilweise überlappen.
Mit anderen Worten ist ein Bildausschnitt der Einzelbilder derart wählbar, dass ein Oberflächenpunkt des Oberflächenbereichs in mehreren direkt aufeinanderfolgenden Einzelbildern abbildbar ist.
Bevorzugt kann es sich bei der Kamera um eine Hochgeschwindigkeitskamera mit einer Bildrate von mindestens 100 Bildern pro Sekunde handeln.
Gemäß weiteren Ausführungsvarianten kann die Vorrichtung eine Oberflächenmodifizierungseinrichtung, ausgebildet zur Oberflächenmodifizierung des Oberflächenbereichs des Bauteils. Bei der Oberflächenmodifizierungseinrichtung kann es sich beispielweise um eine Laserlöteinrichtung, eine Laserschweißeinrichtung, eine Klebeinrichtung, eine Beschichtungseinrichtung oder eine 3D-Druck-Einrichtung handeln.
Bevorzugt kann die Kamera direkt an der Oberflächenmodifizierungseinrichtung montiert sein, so dass sich die Kamera bei Bewegung der Oberflächenmodifizierungseinrichtung oder eines Teils der Oberflächenmodifizierungseinrichtung automatisch mit bewegt.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogramm zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs eines Bauteils auftretenden Defekts in dem Oberflächenbereich. Das Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen ein Auftreten eines Defekts bildbasiert zu ermitteln und eine Größe des Defekts in einem vom Ermitteln des Auftretens des Defekts getrennten Verfahrensschritt zu ermitteln.
Bevorzugt kann das Computerprogramm Befehle umfassen, die bei der Ausführung des Programms durch einen Computer diesen veranlassen die Größe des Defekts mittels eines YOLO-Modells zu ermitteln.
Folglich kann das erfindungsgemäße Computerprogramm dazu genutzt werden, eines der vorstehend beschriebenen erfindungsgemäßen Verfahren auszuführen, also z. B. Oberflächendefekte und deren Größe zu ermitteln, wenn das Computerprogramm auf einem Computer, einer Datenverarbeitungseinheit oder einer der angegebenen Vorrichtungen ausgeführt wird. Mithin werden auch mit dem erfindungsgemäßen Computerprogramm die Vorteile des erfindungsgemäßen Verfahrens erreicht. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Computerprogramm übertragen.
Unter einem Computerprogramm kann ein auf einem geeigneten Medium speicherbarer und/oder über ein geeignetes Medium abrufbarer Programmcode verstanden werden. Zum Speichern des Programmcodes kann jedes zum Speichern von Software geeignete Medium, beispielsweise ein in einem Steuergerät verbauter nichtflüchtiger Speicher, eine DVD, ein USB-Stick, eine Flashcard oder dergleichen, Verwendung finden. Das Abrufen des Programmcodes kann beispielsweise über das Internet oder ein Intranet erfolgen oder über ein anderes geeignetes drahtloses oder kabelgebundenes Netzwerk.
Gemäß verschiedenen Ausführungsvarianten können die Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen ein Auftreten eines Defekts zu ermitteln, den Computer dazu veranlassen Einzelbilder einer mehrere Einzelbilder aufweisenden Bildfolge eines zu beurteilenden Oberflächenbereichs zu mindestens zwei Bildklassen zuzuordnen, wobei jedes Einzelbild einen Bildausschnitt des Oberflächenbereichs zeigt und sich die Bildausschnitte der Einzelbilder zumindest teilweise überlappen und wobei mindestens eine Bildklasse das Attribut defekt trägt, im Folgenden als Defekt-Bildklasse bezeichnet, zu prüfen, ob mehrere Einzelbilder einer vorgebbaren Anzahl in der Bildfolge direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden, und falls mehrere Einzelbilder der vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden, ein Defektsignal auszugeben.
Die Erfindung stellt außerdem einen computerlesbaren Datenträger, auf dem das Computerprogramm gespeichert ist, sowie ein Datenträgersignal, das das Computerprogramm überträgt, bereit.
Weitere Vorteile der vorliegenden Erfindung sind aus den Abbildungen und der zugehörigen Beschreibung ersichtlich. Es zeigen:

1 ein Ablaufschema eines beispielhaften Verfahrens;
2 eine schematische Darstellung einer beispielhaften Vorrichtung;
3 eine beispielhafte Bildfolge;
4 eine weitere beispielhafte Bildfolge;
5 eine weitere beispielhafte Bildfolge;
6 eine Darstellung zur Vorhersagegenauigkeit; und
7a, b zwei aufeinanderfolgende Einzelbilder mit Objektrahmen zur Größenbestimmung.

Die Erfindung wird nachfolgend unter Bezugnahme auf die 1 und 2 anhand eines Laserlötverfahrens und einer zugehörigen Vorrichtung 200 näher erläutert. Es werden folglich ein Verfahren 100 und eine Vorrichtung 200 zum Ermitteln von während der Durchführung eines Laserlötverfahrens eines Oberflächenbereichs 8 eines Bauteils auftretenden Defekten 7 beschrieben. Konkret handelt es sich um ein Laserhartlöten zur Verbindung von Metallblechen, nämlich der Verbindung eines Dachs eines Personenkraftwagens mit der zugehörigen Seitenwand. Die Erfindung ist jedoch nicht auf dieses Verfahren beschränkt und kann analog für andere Oberflächenmodifizierungsverfahren eingesetzt werden.
Das Verfahren 100 wird mittels der in 2 schematisch dargestellten Vorrichtung 200 ausgeführt. Die Vorrichtung 200 weist eine Oberflächenmodifizierungseinrichtung 4 auf, bei der es sich im Ausführungsbeispiel um eine Laserlöteinrichtung handelt. Die Laserlöteinrichtung ist dazu ausgebildet, einen Laserstrahl zu erzeugen und in Richtung eines zu behandelnden Oberflächenbereichs 8 auszusenden. Dem Oberflächenbereich 8 wird außerdem ein Lot, z. B. in Form eines Lötdrahts, zugeführt, das mittels des Laserstrahls aufgeschmolzen und zum Fügen des Fahrzeugdachs mit einem Seitenteil genutzt wird.
Die Vorrichtung 200 weist außerdem eine Kameraeinheit 3 auf. Im Ausführungsbeispiel wurde als Kameraeinheit 3 das Prozessbeobachtungssystem SCeye^® des Herstellers Scansonic genutzt. Die Kameraeinheit 3 ist als Koaxialkamera ausgebildet und verfügt über eine Laserbeleuchtungseinrichtung, wobei die Wellenlänge des Lasers der Laserbeleuchtungseinrichtung von der Wellenlänge des Bearbeitungslasers der Laserlöteinrichtung abweicht. Für das Ausführungsbeispiel wurde eine Wellenlänge von ca. 850 nm für die Laserbeleuchtungseinrichtung gewählt. Die Kameraeinheit 3 ist entsprechend sensitiv für diese Wellenlänge. Durch die Wellenlänge von ca. 850 nm werden Störeinflüsse durch Umgebungslicht und andere Lichtquellen weitgehend vermieden.
Die Kameraeinheit 3 ist bezüglich der Laserlöteinrichtung derart angeordnet, dass eine Bildfolge 5 in Form eines Videos durch den Bearbeitungslaserstrahl hindurch aufgenommen werden kann. Mit anderen Worten wird eine Bildfolge 5 aus mehreren Einzelbildern 6 des zu beurteilenden Oberflächenbereichs 8 aufgezeichnet. Der Bildausschnitt 9 ist dabei so gewählt, dass er sich vom Endbereich des Lötdrahts über die Prozesszone bis zur gerade erstarrten Lötverbindung erstreckt. Die Kameraeinheit 3 wird simultan mit dem Bearbeitungslaserstrahl bewegt, so dass sich der Bildausschnitt 9 über den Oberflächenbereich 8 entsprechend bewegt und sich die Bildausschnitte 9 der Einzelbilder 6 zumindest teilweise überlappen. Hierfür sind die Bildrate der Kameraeinheit 3 und die Geschwindigkeit, mit der der Bearbeitungslaser und die Kameraeinheit 3 bewegt werden, entsprechend aufeinander abgestimmt. Beispielsweise kann die Bildrate bei typischen Bearbeitungsgeschwindigkeiten 100 Bilder pro Sekunde betragen.
Wie bereits erwähnt, ist die Kameraeinheit 3 dazu eingerichtet und ausgebildet, eine Bildfolge 5 aus mehreren aufeinander folgenden Einzelbildern 6 des zu beurteilenden Oberflächenbereichs 8 aufzunehmen. Diese Bildfolge 5 wird an eine Datenverarbeitungseinheit 1 der Vorrichtung 200 übertragen. Mithin stehen die Kameraeinheit 3 und die Datenverarbeitungseinheit 1 in einer signaltechnischen Wirkverbindung.
Die Datenverarbeitungseinheit 1 dient der Verarbeitung der Einzelbilder 6 der Bildfolge 5, um das Auftreten eines Defekts 7 zu ermitteln sowie bei Vorliegen eines Defekts 7 dessen Größe zu ermitteln. Hierfür weist die Datenverarbeitungseinheit 1 ein trainiertes neuronales Netz 2 auf, mit dessen Hilfe die Einzelbilder 6 zu zwei Bildklassen 10a, 10b zugeordnet werden. Hierbei werden als „ok“ erkannte Einzelbilder 6 der ersten Bildklasse 10a und als „defekt“ erkannte Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet.
Bei dem trainierten neuronalen Netz 2 handelt es sich im Ausführungsbeispiel um neuronales Netz, dass mittels Transferlernens trainiert worden ist. Das trainierte neuronale Netz 2 basiert auf dem vortrainierten neuronalen Netz mit der Bezeichnung „ResNet50“, das bereits eingangs beschrieben wurde. Dieses vortrainierte neuronale Netz wurde mit 40 während eines Laserstrahllötens aufgenommenen Bildfolgen 5 weiter trainiert, wobei die Bildfolgen 5 insgesamt 400 Einzelbilder 6 enthielten, bei denen die Zuordnung zu den Bildklassen 10a, 10b festgelegt war. Durch diesen weiteren Trainingsprozess wurde ein trainiertes neuronales Netz 2 geschaffen, das in der Lage ist, Oberflächendefekte, wie z. B. Poren, Löcher, Spritzer, aber auch Gerätedefekte, wie z. B. ein defektes Schutzglas der Lötoptik, auf Einzelbildern 6 zu erkennen.
Die Datenverarbeitungseinheit 1 ist außerdem dazu ausgebildet und eingerichtet, zu prüfen ob mehrere Einzelbilder 6 einer vorgebbaren Anzahl in der Bildfolge 5 direkt aufeinander folgender Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden. Im Ausführungsbeispiel wird geprüft, ob von vier in der Bildfolge 5 direkt aufeinander folgenden Einzelbildern 6 alle vier Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden. Je nach erforderlicher Genauigkeit kann diese Vorgabe variiert werden. Falls vier von vier direkt aufeinander folgende Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden, wird ein Defektsignal 11 ausgegeben.
Das Defektsignal 11 bewirkt, dass in einem nachfolgenden Verfahrensschritt das YOLO-Modell 12 aktiviert wird. Das YOLO-Modell 12 dient dem Ermitteln der Größe des zuvor erkannten Defekts 7. Hierfür wurde das YOLO-Modell 12 mit denselben Trainingsdaten wie das trainierte neuronale Netz 2 trainiert
Mit der vorstehend beschriebenen Vorrichtung 200 kann beispielsweise das nachfolgende unter Bezugnahme auf 1 erläuterte Verfahren 100 durchgeführt werden.
Mit dem Verfahren 100 wird während der Durchführung des Laserlötverfahrens das Auftreten von Defekten 7 computerimplementiert ermittelt. Außerdem wird die Größe der aufgetretenen Defekte 7 ermittelt.
Nach dem Start des Verfahrens 100 wird im Verfahrensschritt S1 eine Bildfolge 7 mit mehreren Einzelbildern 6 des zu beurteilenden Oberflächenbereichs 8 aufgenommen. Hierbei erfolgt die Aufnahme mit einer Bildrate von 100 Bildern pro Sekunde. Abweichende Bildraten sind möglich. Der Bildausschnitt 9 eines jeden Einzelbilds 6 wird so gewählt, dass sich die Bildausschnitte 9 der Einzelbilder 6 teilweise überlappen. Beispielsweise kann eine Überlappung von 80 % vorgesehen sein, d. h. in zwei direkt aufeinander folgenden Einzelbildern 6 ist der Bildausschnitt 9 zu 80 % gleich. Während der Aufnahme der Bildfolge 5 wird der Bildausschnitt 9 bzw. die den Bildausschnitt 9 abbildende Kameraeinheit 3 zusammen mit der Oberflächenmodifizierungseinrichtung 4 bewegt.
Im Verfahrensschritt S2 wird die Bildfolge 5 zur weiteren Verarbeitung bereitgestellt, z. B. von der Kameraeinheit 3 an die Datenverarbeitungseinheit 1 übertragen. Parallel dazu wird im Verfahrensschritt S3 das trainierte neuronale Netz 2 bereitgestellt.
Im Verfahrensschritt S4 werden die Einzelbilder 6 der Bildfolge 5 den zwei Bildklassen 10a, 10b mittels des trainierten neuronalen Netzes 2 zugeordnet, d. h. es wird entschieden, ob das zuzuordnende Einzelbild 6 einen Defekt 7 zeigt oder nicht. Im ersten Fall erfolgt die Zuordnung zur Defekt-Bildklasse 10b, ansonsten zu der anderen Bildklasse 10a.
Im sich anschließenden Verfahrensschritt S5 wird geprüft, ob mehrere Einzelbilder einer vorgebbaren Anzahl in der Bildfolge 5 direkt aufeinander folgender Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden. Wie bereits erwähnt, wird im Ausführungsbeispiel geprüft, ob von vier in der Bildfolge 5 direkt aufeinander folgenden Einzelbildern 6 alle vier Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden.
Ist dies der Fall, geht das Verfahren 100 weiter zu Verfahrensschritt S6, in dem ein Defektsignal 11 ausgegeben wird. Wurden keine vier direkt aufeinander folgenden Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet, geht das Verfahren 100 zurück zu Verfahrensschritt S1.
Das in Verfahrensschritt S6 ausgegeben Defektsignal 11 dient als Triggersignal bzw. Auslösesignal für den nachfolgenden Verfahrensschritt S7. Im Verfahrensschritt S7 wird die Größe des Defekts 7 mittels eines YOLO-Modells 12 ermittelt. Beispielsweise kann der Defekt 7 danach klassifiziert werden, ob die Größe des Defekts 7 sehr gering, gering oder groß ist. Sehr gering kann dann beispielsweise bedeuten, dass keine weiterführenden Maßnahmen eingeleitet werden müssen und das entsprechende Bauteil wie nicht defekte Bauteile weiterverarbeitet werden kann. Gering kann bedeuten, dass der Defekt 7 behebbar ist, z. B. indem der entsprechende Oberflächenbereich des betreffenden Bauteils poliert wird. Groß kann bedeuten, dass der Defekt 7 nicht behebbar ist und das betreffende Bauteil aussortiert werden muss. Nach Verfahrensschritt S7 endet das Verfahren 100.
Selbstverständlich sind Abweichungen von diesem beispielhaften Verfahren 100 möglich. So kann vorgesehen sein, dass das Verfahren 100 nach Verfahrensschritt S7 nicht beendet ist, sondern auch danach zurück zu Verfahrensschritt S1 geht. Vorteilhaft kann das Verfahren 100 in Echtzeit während des Laserlötverfahrens durchgeführt werden, wobei sich die einzelnen Verfahrensschritte S1 bis S7 zeitlich überschneiden können. D. h. während die gerade aufgenommenen Einzelbilder 5 den Bildklassen 10a, 10b zugeordnet werden, werden weitere Einzelbilder 5 aufgenommen etc.
Indem die Beurteilung des Oberflächenbereichs 8 nicht lediglich anhand eines Einzelbilds 6 erfolgt, sondern aufeinanderfolgende Einzelbilder 6 als temporale Daten genutzt werden, kann beobachtet werden, ob ein vermeintlicher oder tatsächlicher Defekt 7 „durch das Kamerabild wandert“. Nur wenn dies der Fall ist, der Defekt 7 also auf mehreren Einzelbildern 6 detektiert werden kann, wird von einem tatsächlichen Defekt 7 ausgegangen. Dadurch kann die Zuverlässigkeit der Defektvorhersage gegenüber einer herkömmlichen automatisierten Qualitätssicherung deutlich verbessert werden, da weniger falsch-positive und falsch-negative Defekte 7 ermittelt werden. Gegenüber einer visuellen Kontrolle hat das vorgeschlagene Verfahren 100 neben einem verringerten personellen Aufwand und diesbezüglichen Kosteneinsparungen den Vorteil, dass auch kleine Defekte 7, die mit bloßem Auge nicht erkennbar sind, ermittelt werden können. Somit kann die Qualität der oberflächenbehandelten Bauteile insgesamt verbessert werden, da Bauteile mit geringer Qualität aussortiert werden können oder Verfahrensparameter und/oder Vorrichtungsteile derart geändert werden können, dass die ermittelten Defekte 7 nicht mehr auftreten.
Indem die Größe des Defekts 7 in einem von den Verfahrensschritten S1 bis S6 getrennten Verfahrensschritt S7 ermittelt wird und folglich die Größenermittlung nicht für jedes Einzelbild 6, sondern nur für bereits detektierte Defekte 7 erfolgt, kann das Verfahren 100 insgesamt mit hoher Geschwindigkeit, insbesondere in Echtzeit auch bei Verfahren mit hohem Bauteildurchsatz, bei gleichzeitig hoher Zuverlässigkeit der Defekt- und Größenermittlung durchgeführt werden. Dies trägt zu einer weiteren Verbesserung der Qualitätssicherung bei.
3 zeigt eine beispielhafte Bildfolge 5 eines zu beurteilenden Oberflächenbereichs 8 eines Bauteils, dessen Oberfläche mittels eines Laserlötverfahrens behandelt wird. Die Bildfolge 5 umfasst 25 Einzelbilder 6, deren Bildausschnitte 9 sich teilweise überlappen. Die Einzelbilder 6 wurden in der Reihenfolge von links oben nach rechts unten von der Kameraeinheit 3 aufgenommen und zur Auswertung an die Datenverarbeitungseinheit 1 der Vorrichtung 200 übermittelt.
Mittels des trainierten neuronalen Netzes 2 der Datenverarbeitungseinheit 1 wurden die Einzelbilder 6 jeweils einer Bildklasse 10a, 10b zugeordnet, in 3 anhand der Klassifizierung als „ok“ oder „defekt“ ersichtlich. Hierbei wurden die ersten acht Einzelbilder 6 als „ok“ klassifiziert und folglich der ersten Bildklasse 10a zugeordnet. Danach folgen zwölf Einzelbilder 6, die als „defekt“ klassifiziert und folglich der Defekt-Bildklasse 10b zugeordnet wurden. Anschließen folgen sieben Einzelbilder 6, die wiederum als „ok“ klassifiziert und der Bildklasse 10a zugeordnet wurden.
In den der Defekt-Bildklasse 10b zugeordneten Einzelbildern 6 ist eine Pore als Defekt 7 erkennbar. Dieser Defekt 7 wandert durch die Bewegung der Kameraeinheit 3 zusammen mit der Oberflächenbearbeitungseinrichtung 4 im Bildausschnitt 9 von links nach rechts.
Um den Defekt 7 mit hoher Wahrscheinlichkeit sicher detektieren zu können, wird z. B. geprüft, ob vier direkt aufeinanderfolgende Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden. Dies ist bei der in 3 gezeigten Bildfolge der Fall, da insgesamt 12 direkt aufeinander folgende Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden. Folglich kann mit sehr hoher Wahrscheinlichkeit von einem tatsächlichen Vorliegen eines Defekts 7 ausgegangen werden und es wird ein Defektsignal 11 ausgegeben. Das Defektsignal 11 kann beispielsweise eine Unterbrechung des Oberflächenmodifizierungsverfahrens bewirken, um das fehlerhafte Bauteil aus dem Produktionsprozess entfernen zu können. Alternativ kann der Produktionsprozess auch weiter ablaufen und das betreffende Bauteil wird nach Abschluss seiner Oberflächenmodifizierung entfernt oder zur weiteren Kontrolle visuell begutachtet.
4 zeigt eine weitere beispielhafte Bildfolge 5 eines zu beurteilenden Oberflächenbereichs 8 eines Bauteils, dessen Oberfläche mittels eines Laserlötverfahrens behandelt wird. Die Bildfolge 5 umfasst wiederum 25 Einzelbilder 6, deren Bildausschnitte 9 sich teilweise überlappen. Die Einzelbilder 6 wurden wie in 3 in der Reihenfolge von links oben nach rechts unten von der Kameraeinheit 3 aufgenommen und zur Auswertung an die Datenverarbeitungseinheit 1 der Vorrichtung 200 übermittelt.
Mittels des trainierten neuronalen Netzes 2 der Datenverarbeitungseinheit 1 wurden die Einzelbilder 6 jeweils einer Bildklasse 10a, 10b zugeordnet, in 4 anhand der Klassifizierung als „ok“ oder „defekt“ ersichtlich. Hierbei wurden die ersten sechs Einzelbilder 6 als „ok“ klassifiziert und folglich der ersten Bildklasse 10a zugeordnet, zwei Einzelbilder 6, die als „defekt“ klassifiziert wurden, ein Einzelbild 6, das als „ok“ klassifiziert wurde, neun Einzelbilder 6, die als „defekt“ klassifiziert wurden und weitere sieben Einzelbilder 6, die als „ok“ klassifiziert wurden. Mit anderen Worten wurden mit der Ausnahme von einem einzigen Einzelbild 6 zwölf direkt aufeinander folgende Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet.
In den der Defekt-Bildklasse 10b zugeordneten Einzelbildern 6 ist eine Pore als Defekt 7 erkennbar. Dieser Defekt 7 wandert durch die Bewegung der Kameraeinheit 3 zusammen mit der Oberflächenbearbeitungseinrichtung 4 im Bildausschnitt 9 von links nach rechts.
Um den Defekt 7 mit hoher Wahrscheinlichkeit sicher detektieren zu können, wird z. B. geprüft, ob vier direkt aufeinanderfolgende Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden. Dies ist bei der in 4 gezeigten Bildfolge der Fall, da insgesamt 9 direkt aufeinander folgende Einzelbilder 6, d. h. das 10. bis 18. Einzelbild 6, der Defekt-Bildklasse 10b zugeordnet wurden. Folglich kann mit sehr hoher Wahrscheinlichkeit von einem tatsächlichen Vorliegen eines Defekts 7 ausgegangen werden und es wird ein Defektsignal 11 ausgegeben.
5 zeigt eine weitere beispielhafte Bildfolge 5 eines zu beurteilenden Oberflächenbereichs 8 eines Bauteils, dessen Oberfläche mittels eines Laserlötverfahrens behandelt wird. Die Bildfolge 5 umfasst 20 Einzelbilder 6, deren Bildausschnitte 9 sich teilweise überlappen. Die Einzelbilder 6 wurden wie in 3 in der Reihenfolge von links oben nach rechts unten von der Kameraeinheit 3 aufgenommen und zur Auswertung an die Datenverarbeitungseinheit 1 der Vorrichtung 200 übermittelt.
Mittels des trainierten neuronalen Netzes 2 der Datenverarbeitungseinheit 1 wurden die Einzelbilder 6 jeweils einer Bildklasse 10a, 10b zugeordnet, in 5 anhand der Klassifizierung als „ok“ oder „defekt“ ersichtlich. Hierbei wurden die ersten acht Einzelbilder 6 als „ok“ klassifiziert und folglich der ersten Bildklasse 10a zugeordnet. Das neunte Einzelbild 6 wurde als „defekt“ klassifiziert. Die weiteren Einzelbilder wurden wiederum als „ok“ klassifiziert.
Allerdings handelt es sich bei dem als „defekt“ klassifizierten Einzelbild 6 um eine falsche Klassifizierung, da dieses Einzelbild 6 tatsächlich nämlich keinen Defekt 7 zeigt. Würde nun lediglich jedes Einzelbild 6 unabhängig von den weiteren Einzelbildern 6 zur Defektvorhersage genutzt werden, würde bereits dieses falsch klassifizierte Einzelbild 6 das Ausgeben eines Defektsignals 11 auslösen und ggf. die Bauteilproduktion stoppen.
Da gemäß dem vorgeschlagenen Verfahren jedoch vorgesehen ist, zu prüfen, ob mehrere Einzelbilder 6 einer vorgebbaren Anzahl in der Bildfolge 5 direkt aufeinander folgender Einzelbilder 6 der Defekt-Bildklasse 10b zugeordnet wurden, wird bei Anwendung des vorgeschlagenen Verfahrens kein Defektsignal 11 ausgegeben, da lediglich ein einziges Einzelbild 6 der Defektbildklasse 10b zugeordnet wurde. Die Detektion von falsch-positiven Defekten 7 kann dadurch vermieden werden.
6 zeigt eine Darstellung zur Vorhersagegenauigkeit von Defekten 7 mittels des vorstehend beschriebenen Verfahrens 100 im Vergleich zu einer visuellen Begutachtung, wie sie bisher üblich ist. Analysiert wurde der Oberflächenbereich 8 von 201 Bauteilen, d. h. 201 Bauteilen wurden mittels eines Laserlötverfahrens oberflächenbehandelt.
Aus der Darstellung ergibt sich, dass 100 % der mittels visueller Begutachtung als „defekt“ erkannten Bauteile auch mittels des vorgeschlagenen Verfahrens als „defekt“ erkannt wurden (Kategorie „echtpositiv“). Keines der mittels visueller Begutachtung als „ok“ erkannten Bauteile wurde mittels des vorgeschlagenen Verfahrens als „defekt“ erkannt (Kategorie „falsch-positiv“). Ebenso wurde keines der mittels visueller Begutachtung als „defekt“ erkannten Bauteils mittels des vorgeschlagenen Verfahrens als „ok“ erkannt (Kategorie „falsch-negativ“). Wiederum wurden 100 % der mittels visueller Begutachtung als „ok“ erkannten Bauteile auch mittels des vorgeschlagenen Verfahrens als „ok“ erkannt (Kategorie „echtnegativ“), wobei das Sternchen „*“ in 7 anzeigt, das ein tatsächlicher Defekt 7 korrekterweise mittels des vorgeschlagenen Verfahrens erkannt wurde, jedoch nicht im Rahmen der üblichen manuellen visuellen Begutachtung. Der Defekt 7 war so klein, dass er nach dem nachgelagerten Schleifprozess der Oberfläche nicht mehr sichtbar war. Eine anschließende manuelle Analyse des Prozessvideos zeigte, dass der Defekt 7 tatsächlich eine sehr kleine Pore war.
Erst durch weitere Untersuchungen konnte die Existenz des Defekts 7 bestätigt werden. Folglich kann geschlussfolgert werden, dass mittels des vorgeschlagenen Verfahrens 100 die Genauigkeit der Beurteilung der Oberflächenqualität der bisher üblichen visuellen Begutachtung nicht nur erreicht, sondern sogar übertroffen werden kann, d. h. es werden auch Defekte 7 erkannt, die mittels üblicher visueller Begutachtung nicht erkennbar sind.
Die 7a und 7b zeigen zwei aufeinanderfolgende Einzelbilder 6 mit zwei Defekten 7. Zu erkennen sind außerdem die zugehörigen Objektrahmen 13, welche zur Größenbestimmung der Defekte 7 mittels des YOLO-Modells genutzt werden. Der Objektrahmen 13a umschließt eine Pore in der Löhtnaht. Der Objektrahmen 13b umschließt einen Lötspritzer der neben der Lötnaht am Außenblech anhaftet. Anhand der Größe der Objektrahmen 13a, 13b kann die Größe der individuellen Defekte 7 bestimmt werden und somit ermittelt werden ob eine Nacharbeit notwendig ist.
Zusammengefasst bietet die Erfindung folgende hauptsächliche Vorteile:

- Es können auch sehr kleine Defekte 7 erkannt werden, sodass eine visuelle Begutachtung des Oberflächenbereichs 8 des Bauteils nach der Durchführung des Oberflächenmodifizierungsverfahrens entbehrlich ist.
- Die Größenermittlung kann zuverlässig mit hoher Genauigkeit erfolgen, da für die Größenermittlung nur diejenigen Einzelbilder 6 begutachtet werden, die einen Defekt 7 gemäß Defektermittlung zeigen und folglich für die Größenermittlung mehr rechentechnische Ressourcen zur Verfügung stehen.
- Die Defektermittlung und Größenermittlung können in Echtzeit erfolgen, d. h. eine nachgelagerte Qualitätskontrolle kann entbehrlich sein.
- Die Vorhersagegenauigkeit ist gegenüber bisherigen Verfahren deutlich besser, d. h. es gibt weniger falsch-positive oder falsch-negative Ergebnisse.

Bezugszeichenliste

1: Datenverarbeitungseinheit
2: trainiertes neuronales Netz
3: Kameraeinheit
4: Oberflächenmodifizierungseinrichtung
5: Bildfolge
6: Einzelbild
7: Defekt
8: Oberflächenbereich
9: Bildausschnitt
10a, 10b: Bildklasse
11: Defektsignal
12: YOLO-Modell
13a, 13b: Objektrahmen
100: Verfahren
200: Vorrichtung
S1: Aufnehmen einer mehrere Einzelbilder aufweisenden Bildfolge des zu beurteilenden Oberflächenbereichs, wobei jedes Einzelbild einen Bildausschnitt des Oberflächenbereichs zeigt und sich die Bildausschnitte der Einzelbilder zumindest teilweise überlappen
S2: Bereitstellen der Bildfolge
S3: Bereitstellen eines trainierten neuronalen Netzes
S4: Zuordnen der Einzelbilder zu mindestens zwei Bildklassen, wovon mindestens eine Bildklasse das Attribut defekt trägt, mittels des trainierten neuronal Netzes
S5: Prüfen, ob mehrere Einzelbilder einer vorgebbaren Anzahl in der Bildfolge direkt aufeinander folgender Einzelbilder der Defekt-Bildklasse zugeordnet wurden
S6: Ausgeben eines Defektsignals
S7: Ermitteln einer Größe des Defekts

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 112010003406 T5 [0005]
US 20160203596 A1 [0006]
US 20150001196 A1 [0007]
CN 109447941 A [0008]
CN 110047073 A [0008]
US 20170028512 A1 [0008]
WO 2020104102 A1 [0010]
CN 109977948 A [0012]

Claims

Computerimplementiertes Verfahren (100) zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs (8) eines Bauteils auftretenden Defekts (7) in dem Oberflächenbereich (8), das Verfahren (100) aufweisend die folgenden Schritte: - S1 bis S6: bildbasiertes Ermitteln eines Auftretens eines Defekts (7) und - S7: Ermitteln einer Größe des Defekts (7) in einem vom Ermitteln des Auftretens des Defekts (7) getrennten Verfahrensschritt.
Verfahren (100) nach Anspruch 1, wobei die Größe des Defekts (7) mittels eines YOLO-Modells (12) ermittelt wird.
Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das Auftreten des Defekts (7) bildbasiert ermittelt wird mittels: - S2: Bereitstellen einer mehrere Einzelbilder (6) aufweisenden Bildfolge (5) eines zu beurteilenden Oberflächenbereichs (8), wobei jedes Einzelbild (6) einen Bildausschnitt (9) des Oberflächenbereichs (8) zeigt und sich die Bildausschnitte (9) der Einzelbilder (6) zumindest teilweise überlappen, - S4: Zuordnen der Einzelbilder (6) zu mindestens zwei Bildklassen (10a, 10b), wovon mindestens eine Bildklasse (10b) das Attribut defekt trägt, im Folgenden als Defekt-Bildklasse (10b) bezeichnet, - S5: Prüfen, ob mehrere Einzelbilder (6) einer vorgebbaren Anzahl in der Bildfolge (5) direkt aufeinander folgender Einzelbilder (6) der Defekt-Bildklasse (10b) zugeordnet wurden, und - S6: falls mehrere Einzelbilder (6) der vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder (6) der Defekt-Bildklasse (10b) zugeordnet wurden, Ausgeben eines Defektsignals (11).
Verfahren (100) nach Anspruch 3, aufweisend: - S3: Bereitstellen eines trainierten neuronalen Netzes (2), wobei das Zuordnen der Einzelbilder (6) zu den Bildklassen (10a, 10b) mittels des trainierten neuronalen Netzes (2) erfolgt.
Verfahren (100) nach Anspruch 3 oder 4, aufweisend: - S1: Aufnehmen der mehrere Einzelbilder (6) aufweisenden Bildfolge (5) des zu beurteilenden Oberflächenbereichs (8), wobei jedes Einzelbild (6) einen Bildausschnitt (9) des Oberflächenbereichs (8) zeigt und sich die Bildausschnitte (9) der Einzelbilder (6) zumindest teilweise überlappen.
Verfahren (100) nach einem der Ansprüche 3 bis 5, wobei der Bildausschnitt (9) zusammen mit einer Oberflächenmodifizierungseinrichtung (4) zur Durchführung des Oberflächenmodifizierungsverfahrens bewegt wird.
Verfahren (100) nach einem der Ansprüche 4 bis 6, wobei das YOLO-Modell (12) mit denselben Trainingsdaten wie das trainierte neuronale Netz (2) trainiert worden ist.
Vorrichtung (200) zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs (8) eines Bauteils auftretenden Defekts (7) in dem Oberflächenbereich (8), die Vorrichtung (200) aufweisend eine Datenverarbeitungseinheit (1), die dazu ausgebildet und eingerichtet ist, - ein Auftreten eines Defekts (7) bildbasiert zu ermitteln und - eine Größe des Defekts (7) in einem vom Ermitteln des Auftretens des Defekts (7) getrennten Verfahrensschritt zu ermitteln.
Vorrichtung (200) nach Anspruch 8, wobei die Datenverarbeitungseinheit (1) zum Ermitteln der Größe des Defekts (7) mittels eines YOLO-Modells (12) ausgebildet und eingerichtet ist.
Vorrichtung (200) nach Anspruch 8 oder 9, wobei die Datenverarbeitungseinheit (1) zum bildbasierten Ermitteln des Auftretens des Defekts (7) dazu ausgebildet und eingerichtet ist, - Einzelbilder (6) einer mehrere Einzelbilder (6) aufweisenden Bildfolge (5) eines zu beurteilenden Oberflächenbereichs (8) zu mindestens zwei Bildklassen (10a, 10b) zuzuordnen, wobei jedes Einzelbild (6) einen Bildausschnitt (9) des Oberflächenbereichs (8) zeigt und sich die Bildausschnitte (9) der Einzelbilder (6) zumindest teilweise überlappen und wobei mindestens eine Bildklasse (10a, 10b) das Attribut defekt trägt, im Folgenden als Defekt-Bildklasse (10b) bezeichnet, - zu prüfen, ob mehrere Einzelbilder (6) einer vorgebbaren Anzahl in der Bildfolge (5) direkt aufeinander folgender Einzelbilder (6) der Defekt-Bildklasse (10b) zugeordnet wurden, und - falls mehrere Einzelbilder (6) der vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder (6) der Defekt-Bildklasse (10b) zugeordnet wurden, ein Defektsignal (11) auszugeben.
Vorrichtung (200) nach Anspruch 10, wobei die Datenverarbeitungseinheit (1) ein trainiertes neuronales Netz (2) zum Zuordnen der Einzelbilder (6) zu den mindestens zwei Bildklassen (10a, 10b) aufweist.
Vorrichtung (200) nach Anspruch 10 oder 11, aufweisend: - eine Kameraeinheit (3), die dazu eingerichtet und ausgebildet ist, eine mehrere Einzelbilder (6) aufweisende Bildfolge (5) des zu beurteilenden Oberflächenbereichs (8) aufzunehmen, wobei jedes Einzelbild (6) einen Bildausschnitt (9) des Oberflächenbereichs (8) zeigt und sich die Bildausschnitte (9) der Einzelbilder (6) zumindest teilweise überlappen.
Vorrichtung (200) nach einem der Ansprüche 8 bis 12, aufweisend: - eine Oberflächenmodifizierungseinrichtung (4), ausgebildet zur Oberflächenmodifizierung des Oberflächenbereichs (8) des Bauteils.
Computerprogramm zum Ermitteln einer Größe eines während einer Durchführung eines Oberflächenmodifizierungsverfahrens eines Oberflächenbereichs (8) eines Bauteils auftretenden Defekts (7) in dem Oberflächenbereich (8), umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen: - ein Auftreten eines Defekts (7) bildbasiert zu ermitteln und - eine Größe des Defekts (7) in einem vom Ermitteln des Auftretens des Defekts (7) getrennten Verfahrensschritt zu ermitteln.
Computerprogramm nach Anspruch 14, wobei die Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen ein Auftreten eines Defekts (7) bildbasiert zu ermitteln, den Computer dazu veranlassen: - Einzelbilder (6) einer mehrere Einzelbilder (6) aufweisenden Bildfolge (5) eines zu beurteilenden Oberflächenbereichs (8) zu mindestens zwei Bildklassen (10a, 10b) zuzuordnen, wobei jedes Einzelbild (6) einen Bildausschnitt (9) des Oberflächenbereichs (8) zeigt und sich die Bildausschnitte (8) der Einzelbilder (6) zumindest teilweise überlappen und wobei mindestens eine Bildklasse (10a, 10b) das Attribut defekt trägt, im Folgenden als Defekt-Bildklasse (10b) bezeichnet, - zu prüfen, ob mehrere Einzelbilder (6) einer vorgebbaren Anzahl in der Bildfolge (8) direkt aufeinander folgender Einzelbilder (6) der Defekt-Bildklasse (10b) zugeordnet wurden, und - falls mehrere Einzelbilder (6) der vorgebbaren Anzahl direkt aufeinander folgender Einzelbilder (6) der Defekt-Bildklasse (10b) zugeordnet wurden, ein Defektsignal (11) auszugeben.
Computerlesbarer Datenträger oder Datenträgersignal, auf dem ein Computerprogramm nach Anspruch 14 oder 15 gespeichert ist bzw. das das Computerprogramm nach Anspruch 14 oder 15 überträgt.