-
Die Erfindung betrifft ein Verfahren zur Beurteilung von Schweißungen.
-
An Fahrzeugkarosserien finden zahlreiche Schweißungen statt, die im Anschluss inspiziert werden müssen. So werden z.B. an die Bodengruppe eines Fahrzeugs eine Vielzahl von Schweißbolzen angeschweißt und Schweißpunkte gesetzt. Ein Werker inspiziert diese Schweißstellen einzeln. Im Falle eines Fehlers erfolgt die Dokumentation zunächst auf Papier und wird anschließend in eine Fehlerdatenbank eingepflegt.
-
Dieses Verfahren ist zeitaufwendig und umständlich. Zudem ist die Zuverlässigkeit des Verfahrens stark von der Erfahrung und Aufmerksamkeit des Werkers abhängig. Das Verfahren ist subjektiv und nicht nachvollziehbar.
-
Vor diesem Hintergrund ist es die Aufgabe der Erfindung ein verbessertes Verfahren anzugeben, wie Schweißungen mit verringertem Aufwand und hoher Zuverlässigkeit kontrolliert werden können.
-
Gelöst wird die Aufgabe durch ein Verfahren nach Patentanspruch 1. Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen und der nachfolgenden Beschreibung.
-
Es wird ein Verfahren zur Beurteilung von Schweißungen angegeben, das die Schritte beinhaltet:
- a) Erfassen von Bilddaten von einem geschweißten Bauteil,
- b) Identifizieren und Beurteilen mindestens einer Ist-Schweißstelle anhand der Bilddaten mittels eines künstlichen neuronalen Netzwerks unter Erzeugung eines Beurteilungswertes, und
- c) Wiedergeben der Bilddaten auf einem Monitor unter Darstellung des Beurteilungswertes.
-
Bei dem geschweißten Bauteil handelt es sich vorzugsweise um ein Fahrzeugbauteil und insbesondere um ein Karosserie- oder Fahrwerksbauteil. Das Bauteil kann mit einer oder mehreren Ist-Schweißstellen mit weiteren Bauteilen verbunden sein. Die Ist-Schweißstelle kann als Schweißpunkt oder Schweißnaht ausgebildet sein. An der Schweißstelle kann z.B. ein Schweißbolzen oder eine Schweißmutter aufgeschweißt sein.
-
Die Bilddaten von dem Bauteil können z.B. mit einer Kamera erfasst werden, wobei nur ein Bild, mehrere Bilder oder Videosequenzen als Datenbasis herangezogen werden können. Die Bilddaten werden an das neuronale Netzwerk weitergegeben, das die Bilddaten analysiert. Das neuronale Netzwerk erkennt mittels Objekterkennung (Object Detection) anhand der Bilddaten die Ist-Schweißstellen, die auf dem Bauteil ausgebildet sind und beurteilt diese anhand angelernter Beurteilungskriterien mittels Objektanalyse (Object Analysis). Aufgrund der Beurteilung erstellt das neuronale Netzwerk einen Beurteilungswert, der das Ergebnis der Beurteilung widerspiegelt. Der Beurteilungswert wird gemeinsam mit den Bilddaten auf einem Monitor ausgegeben. Somit erhält der Werker eine visuelle Darstellung des zu beurteilenden Bauteils, wobei die Beurteilung der Schweißstellen direkt mit eingeblendet wird.
-
Mit dem beschriebenen Verfahren kann eine manuelle Beurteilung der Schweißstellen durch den Werker entfallen. Das maschinengestützte Verfahren ist schneller und weniger fehleranfällig. Hierdurch können Kosten eingespart und die Qualität der Beurteilung gesteigert werden.
-
Künstliche neuronale Netzwerke sind von der Natur inspirierte, lernfähige Systeme und als solche bekannt. Sie umfassen z.B. eine Recheneinheit und einen Speicher, die ein Neuronenmodell nachahmen. Für das erfindungsgemäße Verfahren kann z.B. das Open Source Netzwerk YoloV3 verwendet werden. Ein neuronales Netzwerk kann komplexe Funktionen annähern, Aufgaben erlernen und Probleme lösen. Hierbei greift das neuronale Netzwerk auf eine Datenbasis zurück. Vor dem Einsatz des neuronalen Netzwerkes für das beschriebene Verfahren muss dieses angelernt werden. Hierzu werden z.B. Bilddaten von einer Vielzahl von Referenz-Schweißstellen aufgenommen. Bei den Referenz-Schweißstellen handelt es sich um Schweißstellen, die in ihrer Art vergleichbar mit den zu beurteilenden Ist-Schweißstellen sind. Sollen z.B. aufgeschweißte Bolzen beurteilt werden, so werden als Referenz-Schweißstellen derartige aufgeschweißte Bolzen erfasst. Die Bilddaten werden jeweils mit einer Klassifikationsmarkierung versehen. Die Klassifikationsmarkierung kann z.B. die Schweißstelle als solche kennzeichnen und die Lage der Referenz-Schweißstelle in den Bilddaten markieren. Die Klassifikationsmarkierung kann ebenso die Qualität der Referenz-Schweißstelle markieren. Am Beispiel der Bolzen kann die Klassifikationsmarkierung z.B. schräg aufgeschweißte Bolzen als fehlerhafte Schweißstelle markieren. Die Bilddaten der Vielzahl von Referenzschweißungen werden in das neuronale Netz eingegeben. Dieses lernt anhand der Bilddaten und der Klassifikationsmarkierung, Schweißstellen zu erkennen und lernt weiterhin zu beurteilen, ob diese fehlerhaft sind oder nicht.
-
Das neuronale Netzwerk kann lokal auf einem Rechner bereitgestellt werden. Besonders bevorzugt ist es jedoch, wenn das neuronale Netzwerk auf einem Cloud-Server bereitgestellt wird. Der Zugriff auf das Netzwerk kann dann über eine geeignete drahtgebundene oder drahtlose Verbindung erfolgen.
-
Dies hat den Vorteil, dass der Zugriff auf das neuronale Netzwerk von unterschiedlichsten Orten eines Unternehmens erfolgen kann, was die Einsatzmöglichkeiten im Unternehmen erhöht. Zudem können sehr leistungsstarke Server eingesetzt werden, wodurch die Geschwindigkeit des Verfahrens gesteigert werden kann und eine Analyse der Schweißstellen in Echtzeit ermöglicht wird.
-
Die Schweißstellen werden mittels des neuronalen Netzwerks beurteilt. Dieses generiert einen Beurteilungswert, der in einer Ausgestaltung direkt an der Position der beurteilten Ist-Schweißstelle in das Bild eingeblendet werden kann. Dies erleichtert dem Werker die Zuordnung des Beurteilungswertes zu der zugehörigen Schweißstelle. Eine derartige Darstellung ist intuitiv verständlich und ermöglicht den Einsatz des Verfahrens ohne nennenswerten Einarbeitungsaufwand. Zudem erleichtert es eine Fehlerkorrektur im Anschluss an die Fehlererkennung, da der Werker unmittelbar erkennt, welche Schweißstelle nachgebessert werden muss.
-
Bei der Beurteilung der mindestens einen Ist-Schweißstelle wird in einer Ausgestaltung die Qualität der Ist-Schweißstelle beurteilt. Eine derartige Beurteilung kann z.B. aufgrund der Größe und/oder der Oberflächenbeschaffenheit der Ist-Schweißstelle erfolgen. Zum Anlernen werden dem neuronalen Netzwerk Bilddaten von einer Vielzahl von hinsichtlich ihrer Qualität klassifizierten Schweißstellen zugeführt. Ist das neuronale Netzwerk entsprechend angelernt worden, so ist eine zuverlässige Beurteilung möglich. Werden aufgeschweißte Bolzen beurteilt, so kann z.B. der Winkel unter dem der Bolzen aufgeschweißt ist, ein Maß für die Qualität der Schweißung sein. Die Beurteilung der Qualität der Schweißstelle wird objektiviert, wodurch die Reproduzierbarkeit der Fehlererkennung steigt und die Quote der gefundenen Fehler gesteigert werden kann.
-
Der vom neuronalen Netzwerk erstellte Beurteilungswert spiegelt das Ergebnis der Beurteilung wieder. Durch ein Training des Netzwerkes mit einer ausreichenden Anzahl von Referenz-Schweißungen kann eine hohe Beurteilungsgenauigkeit erreicht werden. Vorzugsweise ist der Beurteilungswert ein binärer Wert, der die beurteilte Ist-Schweißstelle als „in Ordnung“ oder „nicht in Ordnung“ klassifiziert. Es kann eine zusätzliche Beurteilungskategorie vorgesehen sein für Fälle, in denen das neuronale Netzwerk keine eindeutige Beurteilung in die Kategorien „in Ordnung“ oder „nichtin Ordnung“ vornehmen kann. Schweißstellen, die in dieser zusätzlichen Kategorie klassifiziert werden, können z.B. einer nachgeschalteten zusätzlichen Ultraschall-Inspektion o.ä. durch den Werker unterzogen werden.
-
In einer bevorzugten Ausgestaltung wird mit dem Verfahren weiterhin beurteilt, ob die Ist-Schweißstelle an der richtigen Position auf dem Bauteil ausgebildet ist. Hierzu werden in Schritt a) weiterhin CAD (Computer Aided Design)-Daten des Bauteils bereitgestellt und an das neuronale Netzwerk weitergegeben. In Schritt b) identifiziert das neuronale Netzwerk anhand der CAD-Daten die Soll-Schweißstellen auf dem Bauteil. Die Soll-Schweißstellen können z.B. bezüglich ihrer Größe und Lage auf dem Bauteil identifiziert werden. Das neuronale Netzwerk stülpt die Bilddaten des Bauteils und die CAD-Daten übereinander, ordnet derart die erkannten Ist-Schweißstellen den korrespondierenden Soll-Schweißstellen zu und vergleicht die Lage der Ist-Schweißstellen auf dem Bauteil mit der Lage der korrespondierenden Soll-Schweißstellen. Abhängig vom Ergebnis des Lage-Vergleichs wird der Beurteilungswert festgesetzt. Stimmen die Lagen ausreichend überein, so wird der Beurteilungswert auf „in Ordnung“ gesetzt, bei Abweichungen, die z.B. einen vorgegebenen Grenzwert überschreiten, wird der Beurteilungswert auf „nichtin Ordnung“ gesetzt.
-
Weiterhin kann mit dem Verfahren überprüft werden, ob alle vorgesehenen Soll-Schweißstellen auch tatsächlich auf dem Bauteil vorhanden sind. Hierzu wird in Schritt b) von dem neuronalen Netzwerk überprüft, ob zu jeder Soll-Schweißstelle eine korrespondierende Ist-Schweißstelle vorhanden ist. Die Ist-Schweißstellen werden mittels Objekterkennung in bekannter Weise ermittelt. Wird eine fehlende Ist-Schweißstelle festgestellt, so wird eine Fehlermarkierung erstellt. Diese wird in Schritt c) auf dem Monitor an der Position der fehlenden Ist-Schweißstelle ausgegeben. Dies erhöht die Sicherheit des Bauteils, da fehlende Schweißstellen auch bei einer Vielzahl von Schweißstellen nicht unbemerkt bleiben.
-
In einer weiteren Ausgestaltung wird in Schritt b) zudem die Anzahl der Ist-Schweißstellen ermittelt und in Schritt c) als Ausgabewert auf dem Monitor ausgegeben. Die vom neuronalen Netzwerk erkannten Ist-Schweißstellen werden pro Bauteil aufsummiert und in das auf dem Monitor abgebildete Bild des Bauteils eingeblendet. Zusätzlich kann auch die Anzahl an Soll-Schweißstellen in Schritt b) aufsummiert und in Schritt c) mit eingeblendet werden. Hierdurch erhält der Werker mit dem Ausgabewert auf einen Blick eine aussagekräftige Kennzahl, die Aufschluss über den Zustand des Bauteils und die Qualität des Schweißverfahrens gibt. Die automatische Zählung der Schweißstellen ist insbesondere vorteilhaft bei Fahrzeugkarosserien mit einer Vielzahl von gesetzten Schweißpunkten, bei denen ein manuelles Auszählen langwierig und unübersichtlich und damit fehleranfällig wäre.
-
Mit dem Verfahren wird für die Vielzahl von Schweißstellen auf dem Bauteil jeweils ein Kennwert ermittelt, der an der Position der zugehörigen Soll-Schweißstelle in das Bild des Bauteils eingeblendet und dem Werker dargestellt wird. Ist an einer Soll-Schweißstelle keine Ist-Schweißung erfolgt, so wird eine Fehlermarkierung dargestellt. Für durchgeführte Ist-Schweißungen wird jeweils der Beurteilungswert abgebildet, der die Schweißstelle klassifiziert.
-
Die mit dem Verfahren ermittelten Kennwerte können auch zur Befüllung einer Datenbank an ein Speichermedium ausgegeben und dort gespeichert werden. Genauer gesagt beinhaltet das Verfahren in einer Ausgestaltung einen weiteren Schritt d), bei dem der Beurteilungswert und/oder die Fehlermarkierung für jede Schweißstelle an einen Datenspeicher ausgegeben werden. Zur Erstellung einer Fehlerdatenbank kann es sinnvoll sein, wenn nur Kennwerte solcher Schweißstellen übermittelt werden, die als fehlend oder nicht in Ordnung klassifiziert wurden. Neben den Kennwerten (Beurteilungswert bzw. Fehlermarkierung) können zudem die zugehörigen erfassten Bilddaten und die zugehörigen CAD-Daten des Bauteils mit in dem Datenspeicher abgelegt werden. Da die Daten bereits in digitaler Form vorliegen, ist eine derartige Übermittlung schnell, fehlerfrei und ohne großen Zusatzaufwand möglich.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Sofern in dieser Anmeldung der Begriff „kann“ verwendet wird, handelt es sich sowohl um die technische Möglichkeit als auch um die tatsächliche technische Umsetzung.
-
Im Folgenden werden Ausführungsbeispiele an Hand der beiliegenden Zeichnungen erläutert. Darin zeigt:
- 1 ein Ablaufdiagramm mit einzelnen Verfahrensschritten und
- 2 eine beispielhafte Monitordarstellung eines Bauteils während des Verfahrens.
-
In Schritt AA des Verfahrens wird zunächst das neuronale Netzwerk angelernt. Hierzu wird eine große Anzahl an Bilddaten von Schweißstellen benötigt. Es werden sowohl Bilddaten von Schweißstellen verwendet, die „in Ordnung“ sind als auch von solchen, die fehlerhaft, also „nichtin Ordnung“ sind. Die Schweißstellen in den Bilddaten sind als solche klassifiziert. Zudem sind sie bezüglich ihrer Qualität als iO (in Ordnung) und niO (nicht in Ordnung) klassifiziert. Durch Analyse der zugeführten Bilddaten lernt der Algorithmus des neuronalen Netzwerkes Schweißstellen zu erkennen und zwischen den Beurteilungswerten „in Ordnung“ und „nichtin Ordnung“ zu unterscheiden. Nach dieser Anlernphase ist das neuronale Netzwerk einsatzbereit.
-
In Schritt A werden Bilddaten 1 eines zu beurteilenden geschweißten Bauteils erstellt, die dem neuronalen Netzwerk zugeführt werden. Dem neuronalen Netzwerk werden weiterhin CAD-Daten 2 des Bauteils zugeführt.
-
In Schritt B beurteilt das neuronale Netzwerk die Ist-Schweißstellen anhand der erlernten Beurteilungskriterien. Hierzu werden z.B. die CAD-Daten 2 mittels Augmented Reality über die Bilddaten 1 gestülpt. Durch einen Abgleich der CAD-Daten mit den Bilddaten wird analysiert, wo auf dem Bauteil die Schweißstellen sein sollen (Soll-Schweißstellen). In einem weiteren Schritt wird jede tatsächlich vorhandene Schweißstelle (Ist-Schweißstelle) mittels Objekterkennung gesucht, gezählt und es wird abgeglichen, ob die Anzahl an Ist-Schweißstellen mit der Anzahl an Soll-Schweißstellen übereinstimmt. Wird hierbei festgestellt, dass eine Ist-Schweißstelle fehlt, so wird eine Fehlermarkierung F erzeugt. Die Anzahl von ermittelten Ist-Schweißstellen und Soll-Schweißstellen wird als Ausgabewert AW bereitgestellt.
-
In Schritt B wird weiterhin jede Ist-Schweißstelle durch Objektanalyse dahingehend beurteilt, ob sie am richtigen Platz ist und ob die Qualität der Schweißstelle ausreichend ist. Es wird ein Beurteilungswert BW erzeugt: iO= in Ordnung oder niO=nicht in Ordnung.
-
Sowohl die Fehlermarkierungen F als auch die Beurteilungswerte BW und der Ausgabewert AW werden in Schritt C auf einem Monitor gemeinsam mit den Bilddaten 1 des Bauteils dargestellt. 2 zeigt eine solche Darstellung.
-
Auf einem Monitor 10 ist die Abbildung eines Bauteils 20 gezeigt, auf dem eine Vielzahl von Ist-Schweißstellen 30, 31, 32, 33 in Form von Schweißpunkten ausgebildet sind. Nach Analyse der Ist-Schweißstellen 30, 31, 32, 33 und Abgleich mit den CAD-Daten 2 durch das neuronale Netzwerk hat dieses Fehlermarkierungen F1 und Beurteilungswerte BW1, BW2, BW3, BW4 für jede Schweißstelle erstellt, die nun auf dem Monitor mit eingeblendet werden. Die Fehlermarkierungen F und Beurteilungswerte BW werden dabei unmittelbar an der zugehörigen Schweißstelle eingeblendet. 2 zeigt beispielhaft drei Ist-Schweißstellen mit den Beurteilungswerten BW1 bis BW3, die als iO bewertet wurden. Eine Ist-Schweißstelle 32 wurde als niO bewertet und erhält einen entsprechenden Beurteilungswert BW4. Weiterhin wurde anhand der CAD-Daten eine fehlende Schweißstelle aufgefunden, die durch eine Fehlermarkierung F1 mit einem M für „missing“ markiert ist.
-
Weiterhin ist die Anzahl an gezählten Ist-Schweißstellen und Soll-Schweißstellen als Ausgabewert AW dargestellt, in 2 wurden 4 Ist-Schweißstellen erkannt und laut CAD-Daten sind 5 Soll-Schweißstellen vorgesehen.
-
Das Ergebnis aller Analysen kann in einem weiteren Schritt D z.B. automatisch oder durch Knopfdruck an ein Datenbanksystem gemeldet werden, wobei alle durchgeführten Schritte und die entsprechenden Daten mit übermittelt werden. Insbesondere werden der Ausgabewert AW, die Beurteilungswerte BW und Fehlermarkierungen F, die Bilddaten 1 und die CAD-Daten 2 mit übermittelt.
-
Bezugszeichenliste
-
- 1
- Bilddaten
- 2
- CAD-Daten
- 10
- Monitor
- 20
- Bauteil
- 30, 31, 32, 33
- Schweißstellen
- AA, A, B, C, D
- Verfahrensschritte
- AW
- Ausgabewert
- BW, BW1 bis BW4
- Beurteilungswert
- F, F1
- Fehlermarkierung
