DE102019214180A1 - Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess, Verfahren zur Überwachung von einem Schmelzprozess, Computerprogramm sowie maschinenlesbares Speichermedium - Google Patents

Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess, Verfahren zur Überwachung von einem Schmelzprozess, Computerprogramm sowie maschinenlesbares Speichermedium Download PDF

Info

Publication number
DE102019214180A1
DE102019214180A1 DE102019214180.3A DE102019214180A DE102019214180A1 DE 102019214180 A1 DE102019214180 A1 DE 102019214180A1 DE 102019214180 A DE102019214180 A DE 102019214180A DE 102019214180 A1 DE102019214180 A1 DE 102019214180A1
Authority
DE
Germany
Prior art keywords
monitoring
evaluation result
melting process
monitoring device
analysis data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019214180.3A
Other languages
English (en)
Inventor
Marcel Slodczyk
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019214180.3A priority Critical patent/DE102019214180A1/de
Publication of DE102019214180A1 publication Critical patent/DE102019214180A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03Observing, e.g. monitoring, the workpiece
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/34Laser welding for purposes other than joining
    • B23K26/342Build-up welding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Factory Administration (AREA)

Abstract

Zur Bewertung von Schmelzprozessen, wie beim Laserschweißen oder selektiven Laserschmelzen, werden Daten aus High-Speed-Kameraaufnahmen genutzt.Es wird eine Überwachungsvorrichtung 1 zur Überwachung von einem Schmelzprozess in einem Materialbearbeitungsverfahren zur Bearbeitung eines Werkstücks 2 vorgeschlagen, mit einer Kameraeinrichtung 6 zur Beobachtung des Schmelzprozesses und zur Ausgabe von Überwachungsbildern, mit einer Analyseeinrichtung 8 zur Analyse der Überwachungsbilder und zur Ausgabe von Analysedaten, wobei die Analyseeinrichtung 8 ausgebildet ist, die Überwachungsbilder durch eine semantische Segmentierung zu analysieren, wobei die Analysedaten Bildsegmente mit zugeordneten Klassen umfassen.

Description

  • Die Erfindung betrifft eine Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess in einem Materialbearbeitungsverfahren zur Bearbeitung eines Werkstücks mit den Merkmalen des Oberbegriffs des Anspruchs 1. Die Erfindung betrifft des Weiteren ein entsprechendes Verfahren, ein Computerprogramm sowie ein maschinenlesbares Speichermedium.
  • Stand der Technik
  • Zur Bewertung von Schmelzprozessen, wie beim Laserschweißen oder selektiven Laserschmelzen, werden Daten aus High-Speed-Kameraaufnahmen genutzt. Diese Aufnahmen mit einer hohen zeitlichen Rate ermöglichen eine verbesserte Einschätzung der Prozessgüte durch Darstellung von Effekten (Spritzerbildung, hohe Verdampfung) und Schmelzbadeigenschaften (Geometrie, Dynamik). Die Beurteilung der Aufnahmen geschieht noch zum großen Teil qualitativ (viele Spritzer/ wenige Spritzer, stabiler Prozess/ instabiler Prozess) oder mittels Bildverarbeitungsalgorithmen quantitativ. Durch Particle-Tracking Algorithmen ist die Detektion von Spritzern möglich. Durch Abgleich von Grauwerten bzw. Grauwertgradienten (bei Kantendetektionsverfahren) können Regionen bzw. Objekte ermittelt werden. Jedoch sind diese Algorithmen bei Prozessen wie dem selektiven Laserschmelzen häufig nicht stabil. Nicht homogene Beleuchtung, Reflexionen, oder eine unebene Oberfläche (bspw. das zu bearbeitende Pulver beim selektiven Laserschmelzen) verhindern die gezielte Anwendung solcher Algorithmen.
  • Die Druckschrift DE 102 25 450 A 1, die wohl den nächstkommenden Stand der Technik bildet, offenbart ein Verfahren zur Fehlerdetektion bei Laserbearbeitungsprozessen. Hierbei werden Prozesseigenschaften, wie beispielsweise das Entstehen von Schweißspritzen, während der Bearbeitung mittels einer Kamera erfasst. Ferner wird die Wärmestrahlung während und/oder nach dem Laserbearbeitungsprozess demographisch erfasst. Bearbeitungsfehler werden durch eine kombinierte Auswertung der Prozesseigenschaften sowie der Wärmestrahlung detektiert.
  • Offenbarung der Erfindung
  • Die Erfindung betrifft eine Überwachungsvorrichtung mit den Merkmalen des Anspruchs 1, ein Verfahren mit dem Merkmal des Anspruchs 7, ein Computerprogramm mit den Merkmalen des Anspruchs 9 sowie ein maschinenlesbares Speichermedium den Merkmalen des Anspruchs 10. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
  • Gegenstand der Erfindung ist eine Überwachungsvorrichtung, welche zur Überwachung von einem Schmelzprozess in einem Materialbearbeitungsverfahren zur Bearbeitung eines Werkstücks geeignet und/oder ausgebildet ist.
  • Bei dem Materialbearbeitungsverfahren kann es sich um ein Fügeverfahren, wie zum Beispiel um ein Lötverfahren oder um ein Schweißverfahren handeln. Alternativ hierzu kann es sich um ein urformendes und/oder additives Verfahren, wie zum Beispiel um ein Auftragsschweißverfahren oder ein Sinterverfahren handeln. Das Materialbearbeitungsverfahren kann mit oder auch ohne Zusatzwerkstoff ausgebildet sein. Der Schmelzprozess kann zum Beispiel als ein Schweißbad, Lötbad oder als ein Sinterbad ausgebildet sein. Bei dem Werkstück kann es sich um ein beliebiges Produkt handeln, welches getrennt, gefügt, urgeformt etc. wird.
  • Die Überwachungsvorrichtung kann beispielsweise als eine digitale Datenverarbeitungseinrichtung, wie zum Beispiel ein Computer oder dergleichen ausgebildet sein oder diese umfassen.
  • Die Überwachungsvorrichtung weist eine Kameraeinrichtung zur Beobachtung des Schmelzprozesses auf. Die Kameraeinrichtung ist ausgebildet, Überwachungsbilder von dem Schmelzprozess aufzunehmen und auszugeben. Hierzu kann die Kameraeinrichtung koaxial zu einem Bearbeitungswerkzeug, wie zum Beispiel zu einem Laserstrahl gerichtet sein. Alternativ hierzu kann die Kameraeinrichtung den Schmelzprozess seitlich, stechend oder schleppend beobachten. Die Kameraeinrichtung weist insbesondere einen zweidimensionalen Sensor auf. Beispielsweise ist dieser als eine CCD-Kamera oder CMOS-Kamera ausgebildet.
  • Die Überwachungsvorrichtung weist eine Analyseeinrichtung auf, welche zur Analyse der Überwachungsbilder und zur Ausgabe von Analysedaten insbesondere programmtechnisch und/oder schaltungstechnisch ausgebildet ist. Die Analyseeinrichtung kann beispielsweise als ein Softwaremodul in der digitalen Datenverarbeitungseinrichtung ausgebildet sein, alternativ hierzu kann diese als eine separate digitale und/oder analoge Datenverarbeitungseinrichtung realisiert sein.
  • Im Rahmen der Erfindung wird vorgeschlagen, dass die Analyseeinrichtung ausgebildet ist, die Überwachungsbilder durch eine semantische Segmentierung zu analysieren. Bei der semantischen Segmentierung werden in den Überwachungsbildern inhaltlich zusammengehörige Bildsegmente aufgefunden und einer inhaltlichen Klasse zugeordnet. Es ist vorgesehen, dass die Analysedaten der Analyseeinrichtung die Bildsegmente mit den zugeordneten Klassen umfassen. Unter Bildsegmenten sind insbesondere inhaltlich zusammengehörige Bildbereiche und/oder Teilbereiche bei den Überwachungsbildern zu verstehen. Vorzugsweise weisen die Bildsegmente gekrümmte oder frei verlaufende Ränder auf. Jedem der Bildsegmente wird eine Klasse zugeordnet, wobei die Klasse den Inhalt des jeweiligen Bildbereichs beschreibt.
  • Die semantische Segmentierung wird vorzugsweise unter Verwendung eines neuronalen Netzes durchgeführt, insbesondere wird ein konvolutionelles neuronales Netz verwendet. Dieses neuronale Netz wird zunächst trainiert. Insbesondere werden Deep Learning Algorithmen eingesetzt.
  • Zur Umsetzung der semantischen Segmentierung sind eine Vielzahl von Möglichkeiten bekannt. Eine Möglichkeit beschreibt z.B. das Unternehmen Math Works auf der Website:
    • https://de.mathworks.com/solutions/image-video-processing/semanticsegmentation.html#matlab
    (Abruf am 13.8.2019)
    wie folgt:
    • „Die semantische Segmentierung ist das Verständnis eines Bildes auf PixelEbene, d. h., jedem Pixel eines Bildes wird eine Kennzeichnung oder Kategorie zugeordnet. Deep Learning wird verwendet, um eine Zusammenstellung von Pixeln zu erkennen, die unterschiedliche Kategorien bilden. Beispielsweise muss ein autonomes Fahrzeug Fahrzeuge, Fußgänger, Verkehrsschilder, den Bürgersteig und andere Merkmale auf der Straße erkennen.
    (...)
  • Um ein Netz für die semantische Segmentierung zu trainieren, werden folgende Prozessschritte durchgeführt:
    • Analysieren einer Zusammenstellung von Bildern mit Kennzeichnung auf Pixelebene
    • Erstellen eines Netzes für die semantische Segmentierung
    • Trainieren des Netzes, damit es Pixelkategorien in Bildern klassifizieren kann Bewerten der Genauigkeit des Netzes
    • Produkte, die die semantische Segmentierung für Bildanalysen unterstützen, sind MATLAB®, die Computer Vision Toolbox™ für die Kennzeichnung auf Pixelebene und die Deep Learning Toolbox™ für die Erstellung und das Trainieren des Netzes. (...)‟
  • Alternativ oder ergänzend kann die Semantische Segmentierung umgesetzt werden, wie dies in dem Artikel „Björn Fröhlich: Semantische Segmentierung, Lehrstuhl für Digitale Bildverarbeitung Friedrich-Schiller-Universität Jena abgerufen von
    • https://pdfs.semanticscholar.orgf01a3/95fec2f54ea955e1cdd1f22a95c3d6d27da9 .pdf
    am 13.8.2019 und der darin zitierten Diplomarbeit beschrieben ist.
  • Bei einer bevorzugten Ausgestaltung der Erfindung umfassen die Klassen ein Schmelzbad, eine Pulverzuführung, eine Schweissdrahtzuführung, eine pulverfreie Zone, Spritzer, Schmelzauswürfe und/oder ein Werkzeug. Betrachtet man ein typisches Überwachungsbild bei dem Materialbearbeitungsverfahren, so ist für die Beurteilung des Werkstücks vor allem die Wechselwirkungszone zwischen dem Werkzeug und dem Werkstück interessant. Gerade bei thermischen Prozessen wird diese durch das Schmelzbad gebildet. Das Schmelzbad kann dabei ein Bereich beim Laserstrahlschweißen, beim Laserstrahllöten, aber auch beim selektiven Laserstrahlsintern sein. Eine weitere wichtige Kenngröße können Spritzer in dem Bearbeitungsverfahren bilden, die nach Größe oder Frequenz/Anzahl ausgewertet werden können. Sehr oft wird bei der Materialbearbeitung ein Zusatzwerkstoff zugeführt. In diesem Zusammenhang ist es interessant, eine entsprechende Pulverzuführung, eine Drahtzuführung etc. oder allgemein ein Werkzeug in den Überwachungsbildern als Störkonturen zu identifizieren. Zur weiteren Interpretation der Überwachungsbilder kann es vorteilhaft sein, eine pulverfreie Zone zu identifizieren.
  • Bei einer bevorzugten Weiterbildung der Erfindung weist die Überwachungsvorrichtung eine Auswerteeinrichtung auf, wobei die Auswerteeinrichtung programmtechnisch und/oder schaltungstechnisch ausgebildet ist, die Analysedaten auszuwerten und ein Auswerteergebnis bereitzustellen. Die Auswerteeinrichtung kann als eine separate analoge und/oder digitale Datenverarbeitungseinrichtung ausgebildet sein, alternativ hierzu kann diese als ein Softwaremodul in der digitalen Datenverarbeitungseinrichtung der Überwachungsvorrichtung ausgebildet sein.
  • Insbesondere ist das Auswerteergebnisses als eine Qualitätskennzahl für das Werkstück unter Berücksichtigung des Materialbearbeitungsverfahrens ausgebildet. In der einfachsten Variante kann das Auswerteergebnisses als ein in Ordnung/nicht in Ordnung (i.O./n.i.O) ausgebildet sein.
  • Bei einer möglichen Konkretisierung der Erfindung ist die Auswerteeinrichtung ausgebildet, das Auswerteergebnis in Abhängigkeit der Fläche und/oder der Form des Bildsegments mit der Klasse Schmelzbad über die Zeit zu bestimmen. Die Aussagekraft der Fläche und/oder der Form von dem Schmelzbad über die Zeit ist ein bekanntes Qualitätsmerkmal für viele Materialbearbeitungsverfahren. Vorteilhaft ist, dass die Fläche und/oder die Form von dem Schmelzbad auf Basis des Bildsegments bestimmt wird, welches durch die semantische Segmentierung detektiert wurde. Dadurch wird das Bildsegment besonders prozesssicher und/oder effizient bestimmt, so dass das daraus gebildete Qualitätsmerkmal und die daraus abgeleitete Qualitätskennzahl besonders aussagekräftig ist.
  • Bei einer Alternative oder Ergänzung der Erfindung ist die Auswerteeinrichtung ausgebildet, das Auswerteergebnis in Abhängigkeit der Anzahl und/oder der Fläche, insbesondere der Spritzereinzelfläche, des Bildsegments mit der Klasse Spritzer wie Zeit zu bestimmen. Die Aussagekraft der Fläche und/oder Anzahl der Spritzer über die Zeit ist ein weiteres, bekanntes Qualitätsmerkmal für viele Materialbearbeitungsverfahren. Auch hier ist der Vorteil, dass als Grundlage für das Qualitätsmerkmal und die daraus abgeleitete Qualitätskennzahl die semantische Segmentierung eingesetzt ist.
  • Bei einer möglichen Weiterbildung der Erfindung weist die Überwachungsvorrichtung eine Fertigungsflusseinrichtung auf. Die Fertigungsflusseinrichtung steuert den Fertigungsfluss mit den Werkstücken. Beispielsweise kann diese als eine separate analoge und/oder digitale Datenverarbeitungseinrichtung ausgebildet sein. Alternativ hierzu kann diese als ein Softwaremodul in der digitalen Datenverarbeitungseinrichtung der Überwachungsvorrichtung ausgebildet sein. Bei einer ersten möglichen Alternative ist die Fertigungsflusseinrichtung ausgebildet, Werkstücke in Abhängigkeit des Auswerteergebnisses auszusondern. Beispielsweise ist die Fertigungsflusseinrichtung mit einer Materialschleuse verbunden und steuert diese an, um Werkstücke auszusondern. Optional bildet die Materialschleuse eine Komponente der Überwachungsvorrichtung. Alternativ oder ergänzend ist die Fertigungsflusseinrichtung ausgebildet, ein Steuersignal zur Aktivierung einer Signaleinrichtung auszugeben und zwar in Abhängigkeit des Auswerteergebnisses. Durch die Signaleinrichtung wird angezeigt, wenn ein Werkstück manuell ausgesondert werden soll. Optional bildet die Signaleinrichtung eine Komponente der Überwachungsvorrichtung. Alternativ oder ergänzend ist die Fertigungsflusseinrichtung ausgebildet, das Auswerteergebnis datentechnisch mit dem Werkstück zu koppeln. Bei dieser letzten Ausgestaltung wird das Werkstück mit dem Auswerteergebnis als Qualitätskennzahl verbunden, so dass diese zu einem späteren Zeitpunkt genutzt werden kann.
  • Ein weiterer Gegenstand der Erfindung wird durch ein Verfahren zur Überwachung von einem Schmelzprozess in einem Materialbearbeitungsverfahren zur Bearbeitung eines Werkstücks gebildet. Vorzugsweise wird das Verfahren mit der Überwachungsvorrichtung durchgeführt, wie diese zuvor beschrieben wurde bzw. nach einem der vorhergehenden Ansprüche.
  • Das Verfahren umfasst die Schritte:
    • Aufnahme von Überwachungsbildern von dem Schmelzprozess in dem Materialbearbeitungsverfahren; Analysieren der Überwachungsbilder durch eine semantische Segmentierung und Ausgabe von Analysedaten, wobei die Analysedaten Bildsegmente mit zugeordneten Klassen umfassen. Für die Definition der Bildsegmente und Klassen wird auf die vorhergehende Beschreibung verwiesen. Optional werden nachfolgend die Analysedaten ausgewertet und es wird ein Auswerteergebnis ausgegeben, insbesondere derart, wie dies zuvor beschrieben wurde.
  • Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm. Das Computerprogramm umfasst insbesondere einen Programmcode. Das Computerprogramm ist insbesondere ausführbar auf der Überwachungsvorrichtung und/oder einem Computer. Das Computerprogramm ist ausgebildet, bei Ausführung das Verfahren wie vorher beschrieben durchzuführen.
  • Einen weiteren Gegenstand der Erfindung bildet ein Speichermedium mit dem Computerprogramm. Das Computerprogramm ist auf dem Speichermedium gespeichert. Das Speichermedium bildet insbesondere ein maschinenlesbares Speichermedium, beispielsweise eine Diskette, eine CD, DVD oder ein allgemeines Speichermedium.
  • Weitere Vorteile, Wirkungen und Ausgestaltungen der Erfindung ergeben sich aus der Figur und dessen Beschreibung. Dabei zeigt:
    • 1 eine schematische Blockdarstellung von einer Überwachungsvorrichtung als ein Ausführungsbeispiel der Erfindung;
    • 2 ein Flussdiagramm für ein Verfahren zur Bewachung von einem Schmelzprozess.
  • Die 1 zeigt in einer schematisierten Darstellung eine Überwachungsvorrichtung 1, welche zur Überwachung von einem Materialbearbeitungsverfahren von einem Werkstück 2 geeignet und/oder ausgebildet ist. Bei dem Materialbearbeitungsverfahren handelt es sich um ein thermisches Verfahren, wobei das Werkstück 2 und/oder ein Zusatzwerkstoff, welcher auf das Werkstück 2 aufgebracht wird, ein Schmelzbad 3 ausbildet. Das Schmelzbad 3 kann somit ein aufschmelzender Draht, ein aufschmelzendes Pulver oder als aufschmelzendes Werkstück 2 ausgebildet sein.
  • Stark schematisiert ist in der 1 ein Werkzeug 4 dargestellt, welches zum Beispiel als Laserbearbeitungskopf ausgebildet ist und einen Laserstrahl für das Materialbearbeitungsverfahren zur Verfügung stellt. Ferner ist schematisch eine Zuführung 5 zur Zuführung des Zusatzwerkstoffes gezeigt.
  • Die Überwachungsvorrichtung 1 weist eine Kameraeinrichtung 6 auf, wobei die Kameraeinrichtung 6 so angeordnet ist, dass diese die Wechselwirkungszone bei dem Materialbearbeitungsverfahren und insbesondere das Schmelzbad 3 beobachtet. Die Kameraeinrichtung 6 gibt Überwachungsbilder aus, wobei die Überwachungsbilder die Wechselwirkungszone und insbesondere das Schmelzbad 3 zeigen. Die Kameraeinrichtung 6 dient zur online-Überwachung des Materialbearbeitungsverfahren an dem Werkstück 2. Die Überwachungsvorrichtung 1 weist eine Datenverarbeitungseinrichtung 7 auf, welche insbesondere als eine digitale Datenverarbeitungseinrichtung und im Speziellen als ein Computer ausgebildet ist.
  • Die Überwachungsvorrichtung 1 und insbesondere die Datenverarbeitungseinrichtung 7 weist eine Analyseeinrichtung 8 auf, wobei der Analyseeinrichtung 8 als ein Softwaremodul ausgebildet ist. Die Analyseeinrichtung 8 ist insbesondere programmtechnisch und/oder schaltungstechnisch ausgebildet, die Überwachungsbilder durch eine semantische Segmentierung zu analysieren. Zu der Erläuterung der semantischen Segmentierung wird auf die vorhergehende Beschreibung verwiesen. Die Analyseeinrichtung 8 ist ausgebildet, auf Basis der Überwachungsbilder Analysedaten zu erstellen, wobei die Analysedaten Bildsegmente aus den Überwachungsbildern mit zugeordneten Klassen umfassen.
  • Beispielhaft und zur Erläuterung ist in der 1 mit einem gestrichelten Rahmen ein mögliches Überwachungsbild dargestellt, wobei das Überwachungsbild ein Bildsegment mit der Klasse Schmelzbad 3 und ein Bildsegment mit der Zuführung 5 als Analysedaten aufweist. Die Überwachungsbilder sind zeitlich hintereinander aufgenommen, so dass sich die Bildsegmente der einzelnen Klassen über die Zeit verändern.
  • Die Überwachungsvorrichtung 1 und insbesondere die Datenverarbeitungseinrichtung 7 weist eine Auswerteeinrichtung 9 zur Auswertung der Analysedaten und zur Ausgabe von einem Auswerteergebnis auf. Die Auswertung in der Auswerteeinrichtung 9 basiert auf den Analysedaten. Beispielhaft und ohne Beschränkung kann beispielsweise die Fläche und/oder die Form des Bildsegments mit der Klasse Schmelzbad 3 über die Zeit ein Qualitätsmerkmal für das Materialbearbeitungsverfahren bilden.
  • Alternativ oder ergänzend kann die Anzahl und/oder die Fläche des Bildsegments mit der Klasse Spritzer, für Spritzer aus dem Schmelzbad, ein weiteres Qualitätsmerkmal bilden. Auf Basis dieser und weiterer Qualitätsmerkmale ein Auswerteergebnis durch die Auswerteeinrichtung 9 bestimmt werden. Das Auswerteergebnis kann beispielsweise eine Qualitätskennzahl für das Materialbearbeitungsverfahren sein.
  • Optional ergänzend weist die Überwachungsvorrichtung 1 und insbesondere die Datenverarbeitungseinrichtung 7 eine Fertigungsflusseinrichtung 10 auf, wobei die Fertigungsflusseinrichtung 10 ausgebildet ist, den Fertigungsfluss des Werkstücks 2 und weiterer Werkstücke mittelbar oder unmittelbar zu steuern.
  • Beispielsweise kann die Fertigungsflusseinrichtung 10 Werkstücke 2 in Abhängigkeit des Auswerteergebnisses aussondern. Hierzu kann die Fertigungsflusseinrichtung 10 ein Signal an eine erste Schnittstelle zur Kopplung mit einer Materialschleuse 11a ausgeben. Alternativ oder ergänzend kann die Fertigungsflusseinrichtung 10 ein Signal in Abhängigkeit des Auswerteergebnisses für das Werkstück 2 ausgeben. Hierzu kann die Fertigungsflusseinrichtung 10 an Signal an eine zweite Schnittstelle zur Kopplung mit einer Signaleinrichtung 11 b ausgeben. Alternativ oder ergänzend kann die Fertigungsflusseinrichtung 10 das Auswerteergebnis datentechnisch mit dem Werkstück 2 verknüpfen und über eine dritte Schnittstelle in einer Speichereinrichtung 11 c ablegen. Optional bilden die Materialschleuse 11 a, die Signaleinrichtung 11 b und/oder die Speichereinrichtung 11 c einen Bestandteil der Überwachungsvorrichtung 1.
  • In der 2 ist ein Flussdiagramm für ein Verfahren zur Überwachung von einem Schmelzprozess in einem Materialbearbeitungsverfahren zur Bearbeitung des Werkstücks 2.
  • In dem Verfahrensschritt 200 werden Überwachungsbilder von dem Materialbearbeitungsverfahren des Werkstücks 2 aufgenommen.
  • In dem Verfahrensschritt 300 werden die Überwachungsbilder durch eine semantische Segmentierung analysiert und Analysedaten erzeugt, wobei die Analysedaten Bildsegmente in den Überwachungsbildern mit zugeordneten Klassen umfassen.
  • In dem Verfahrensschritt 400 werden die Analysedaten ausgewertet und ein Auswerteergebnis bestimmen. Das Auswerteergebnis ist insbesondere als eine Qualitätskennzahl ausgebildet.
  • In einem optionalen Verfahrensschritt 500 wird der Materialfluss des Werkstücks 2 in Abhängigkeit des Auswerteergebnisses gesteuert und/oder das Werkstück 2 datentechnisch mit dem Auswerteergebnis verknüpft.
  • In einem optionalen Verfahrensschritt 100 wird ein neuronales Netz erzeugt und trainiert, welches zur semantischen Segmentierung von Bildsegmenten mit zugeordneten Klassen in den Überwachungsbildern ausgebildet ist. Die semantische Segmentierung ist ein maschinellen Sehverfahren. Sie wird zur Bildkategorisierung und Objektlokalisation genutzt. Nachdem ein entsprechendes neuronales Netz trainiert wurde, ist es mit der Segmentierung möglich, Videos mit einer hohen Zuverlässigkeit zu klassifizieren Beispielhaft wird die Segmentierung in drei Schritten durchgeführt, wie beispielsweise in „SÜßE, Herbert; RODNER, Erik. Bildverarbeitung und Objekterkennung. Springer, 2014“ beschrieben:
    • - Bestimmung lokaler Merkmale
    • - Klassifikation der lokalen Merkmale
    • - Postprocessing mit einer unüberwachten klassischen Segmentierung
  • Im ersten Schritt wird üblicherweise ein SIFT-Deskriptor angewendet. Diese Merkmale sind robust gegenüber Transformationen, Skalierung und unterschiedliche Beleuchtung. Daraufhin wird im zweiten Schritt jedes Merkmal im Bild in k-Klassen klassifiziert. Hierbei wird ein konvolutionelles neuronales Netz verwendet. So wird jedem Pixel oder jedem Merkmal eine Wahrscheinlichkeit einer bestimmten Klasse zugeordnet. Zeigt das Netz eine hohe Zuverlässigkeit bei der Klassifizierung, ist es mit diesem Netz möglich Schmelzbadaufnahmen schnell und zuverlässig zu verarbeiten. Durch die zugewiesenen Klassen kann der Anwender im automatisierten Umfeld einzelne Segmente aus den Aufnahmen analysieren. Bspw. kann die Fläche des Segments „Schmelzbad“ über die Zeit untersucht werden oder die Anzahl und Größe an Spritzern.
  • Im dritten Schritt wird eine Überarbeitung des Bildes durch eine unüberwachte klassische Segmentierung empfohlen. Hierbei wird eine Kategorisierung der Regionen des Bildes basierend auf Pixel oder Superpixelmerkmale durchgeführt.
  • Als Beispiele seien hier Kantenbasierte, Regionenbasierte oder spektralbasierte Einteilungen des Bildes erwähnt.
  • Die Überwachungsvorrichtung 1 und/oder die Datenverarbeitungseinrichtung 7 kann ein Computerprogramm zur Durchführung des Verfahrens aufweisen. Optional ergänzend ist ein maschinenlesbares Speichermedium vorgesehen, auf dem das Computerprogramm gespeichert ist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10225450 A [0003]

Claims (10)

  1. Überwachungsvorrichtung (1) zur Überwachung von einem Schmelzprozess in einem Materialbearbeitungsverfahren zur Bearbeitung eines Werkstücks (2) mit einer Kameraeinrichtung (6) zur Beobachtung des Schmelzprozesses und zur Ausgabe von Überwachungsbildern, mit einer Analyseeinrichtung (8) zur Analyse der Überwachungsbilder und zur Ausgabe von Analysedaten, dadurch gekennzeichnet, dass die Analyseeinrichtung (8) ausgebildet ist, die Überwachungsbilder durch eine semantische Segmentierung zu analysieren, wobei die Analysedaten Bildsegmente mit zugeordneten Klassen umfassen.
  2. Überwachungsvorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Klassen ein Schmelzbad, eine Pulverzuführung, eine Schweissdrahtzuführung, eine pulverfreie Zone, Spritzer und/oder ein Werkzeug umfassen.
  3. Überwachungsvorrichtung (1) nach Anspruch 1 oder 2, gekennzeichnet durch eine Auswerteeinrichtung (9) zur Auswertung der Analysedaten und zur Ausgabe von einem Auswerteergebnis.
  4. Überwachungsvorrichtung (1) nach Anspruch 3, dadurch gekennzeichnet, dass die Auswerteeinrichtung (9) in Abhängigkeit der Fläche und/oder der Form des Bildsegments mit der Klasse „Schmelzbad“ über die Zeit das Auswerteergebnis bestimmt.
  5. Überwachungsvorrichtung (1) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Auswerteeinrichtung (9) in Abhängigkeit der Anzahl und/oder der Fläche des Bildsegments mit der Klasse „Spritzer“ über die Zeit das Auswerteergebnis bestimmen.
  6. Überwachungsvorrichtung (1) nach einem der vorhergehenden Ansprüche 3 bis 5, gekennzeichnet durch eine Fertigungsflusseinrichtung (10), wobei die Fertigungsflusseinrichtung (10) ausgebildet ist, Werkstücke (2) in Abhängigkeit des Auswerteergebnisses auszusondern, und/oder in Abhängigkeit des Auswerteergebnisses ein Steuersignal zur Aktivierung einer Signaleinrichtung (11b) auszugeben und/oder das Auswerteergebnis datentechnisch mit dem Werkstück (2) zu koppeln.
  7. Verfahren zur Überwachung von einem Schmelzprozess in einem Materialbearbeitungsverfahren zur Bearbeitung eines Werkstücks (2), umfassend die Schritte: - Aufnahme von Überwachungsbildern von dem Schmelzprozess; - Analysieren der Überwachungsbilder durch eine semantische Segmentierung und Ausgabe von Analysedaten, wobei die Analysedaten Bildsegmente mit zugeordneten Klassen umfassen.
  8. Verfahren nach Anspruch 7, gekennzeichnet durch den Schritt: - Auswertung der Analysedaten und Ausgabe eines Auswerteergebnisses.
  9. Computerprogramm zur Ausführung auf einer Rechnereinheit, insbesondere der Überwachungsvorrichtung (1) nach einem der Ansprüche 1 bis 6, wobei das Computerprogramm ausgebildet ist, bei Ausführung auf der Rechnereinheit, das Verfahren nach Anspruch 7 oder 8 durchzuführen und/oder zu bewirken.
  10. Maschinenlesbares Speichermedium, wobei auf dem maschinenlesbaren Speichermedium das Computerprogramm nach Anspruch 9 gespeichert ist.
DE102019214180.3A 2019-09-18 2019-09-18 Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess, Verfahren zur Überwachung von einem Schmelzprozess, Computerprogramm sowie maschinenlesbares Speichermedium Pending DE102019214180A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019214180.3A DE102019214180A1 (de) 2019-09-18 2019-09-18 Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess, Verfahren zur Überwachung von einem Schmelzprozess, Computerprogramm sowie maschinenlesbares Speichermedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019214180.3A DE102019214180A1 (de) 2019-09-18 2019-09-18 Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess, Verfahren zur Überwachung von einem Schmelzprozess, Computerprogramm sowie maschinenlesbares Speichermedium

Publications (1)

Publication Number Publication Date
DE102019214180A1 true DE102019214180A1 (de) 2021-03-18

Family

ID=74686903

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019214180.3A Pending DE102019214180A1 (de) 2019-09-18 2019-09-18 Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess, Verfahren zur Überwachung von einem Schmelzprozess, Computerprogramm sowie maschinenlesbares Speichermedium

Country Status (1)

Country Link
DE (1) DE102019214180A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021123038A1 (de) 2021-09-06 2023-03-09 Trumpf Laser- Und Systemtechnik Gmbh Spritzerdetektion durch künstliche Intelligenz bei der Laserbearbeitung
DE102021123913A1 (de) 2021-09-15 2023-03-16 Preh Gmbh Stromschienenanordnung insbesondere zur elektrischen, mehrpoligen Hochstromverbindung in einem elektrisch angetriebenen Kraftfahrzeug

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021123038A1 (de) 2021-09-06 2023-03-09 Trumpf Laser- Und Systemtechnik Gmbh Spritzerdetektion durch künstliche Intelligenz bei der Laserbearbeitung
DE102021123913A1 (de) 2021-09-15 2023-03-16 Preh Gmbh Stromschienenanordnung insbesondere zur elektrischen, mehrpoligen Hochstromverbindung in einem elektrisch angetriebenen Kraftfahrzeug
WO2023041341A1 (de) 2021-09-15 2023-03-23 Preh Gmbh Stromschienenanordnung insbesondere zur elektrischen, mehrpoligen hochstromverbindung in einem elektrisch angetriebenen kraftfahrzeug

Similar Documents

Publication Publication Date Title
DE102017010799B4 (de) Maschinenlernvorrichtung zum Lernen einer Bearbeitungsreihenfolge eines Robotersystems mit einer Mehrzahl von Laserbearbeitungsrobotern, dazugehöriges Robotersystem sowie Maschinenlernverfahren zum Lernen einer Bearbeitungsreihenfolge des Robotersystems mit einer Mehrzahl von Laserbearbeitungsrobotern
DE602005005484T2 (de) Verfahren zur Qualitätskontrolle eines Laserschweissprozesses, sowie ein dazugehöriges System und Programm
DE102017116017A1 (de) Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung
EP3970113B1 (de) Bestimmung eines verschleissgrades eines werkzeugs
DE102013011730B3 (de) Verfahren zur Auswertung eines Messergebnisses einer thermischen Analyse, sowie Verwendung des Verfahrens, Rechnereinrichtung, Computerprogrammprodukt und System zur Ausführung des Verfahrens
EP3287951B1 (de) Verfahren für die urheberschaftsbewertung eines gemäldes
EP2034461A2 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
DE102019214180A1 (de) Überwachungsvorrichtung zur Überwachung von einem Schmelzprozess, Verfahren zur Überwachung von einem Schmelzprozess, Computerprogramm sowie maschinenlesbares Speichermedium
EP3789926A1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
EP4256464A1 (de) Referenzaufnahmenerstellung leerer werkstückträger
DE102020108680B4 (de) Verfahren und Anordnung zur Oberflächenbearbeitung eines Werkstücks
DE102018207923A1 (de) Verbessertes Training eines Klassifikators
EP3961559B1 (de) Verfahren und vorrichtung zum ermitteln von defekten während eines oberflächenmodifizierungsverfahrens
DE102020206088A1 (de) Bildauswertungsverfahren in der Mikroskopie
DE102011085677A1 (de) Verfahren und Vorrichtung zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs
DE19740024C1 (de) Berührungsloses Prüfverfahren für Schweißpunkte
DE102021120435A1 (de) Verfahren und Vorrichtung zum Ermitteln der Größe von Defekten während eines Oberflächenmodifizierungsverfahrens
DE102021117714A1 (de) Automatische Nahterkennung für einen Schweißprozess
EP3923193B1 (de) Messung der empfindlichkeit von bildklassifikatoren gegen veränderungen des eingabebildes
EP3985558B1 (de) Verfahren sowie vorrichtung zum klassifizieren von sensordaten
EP2808843B1 (de) Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
DE102017217596A1 (de) Verfahren zum Überprüfen eines elektronischen Bauelements, Verfahren zum Erzeugen eines Modells und Vorrichtung
DE102022103844B3 (de) Verfahren zur Optimierung eines Produktionsprozesses auf Basis visueller Informationen und Vorrichtung zur Durchführung des Verfahrens
DE102018216295B4 (de) Verfahren und Vorrichtung zum Ermitteln eines Ansteuersignals zum Ansteuern eines Aktors
EP4155852A1 (de) Prozessorschaltung und verfahren zum überwachen eines fügeprozesses von werkstücken in einem fügeautomaten sowie fügeautomat